[논문 리뷰] JOTR: 3D Joint Contrastive Learning with Transformers for Occluded Human Mesh Recovery

Jiahao Li, Zongxin Yang외 4명|arXiv (Cornell University)|2023. 07. 31.

3D Shape Modeling and AnalysisEngineering인용 수 3

한 줄 요약

이 논문은 망각된 인간 메시 복구를 위한 트랜스포머 기반 3D 공동 대비 학습 프레임워크인 JOTR를 제안한다. 2D 및 3D 특징을 인코더-디코더 트랜스포머 아키텍처를 통해 융합하고, 전역적 감독을 제공하기 위해 관절 간 및 관절-비관절 간 대비 손실을 포함하는 새로운 3D 관절 대비 학습을 도입하여 3D 표현 품질을 크게 향상시키고, 망각 특화 및 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this study, we focus on the problem of 3D human mesh recovery from a single image under obscured conditions. Most state-of-the-art methods aim to improve 2D alignment technologies, such as spatial averaging and 2D joint sampling. However, they tend to neglect the crucial aspect of 3D alignment by improving 3D representations. Furthermore, recent methods struggle to separate the target human from occlusion or background in crowded scenes as they optimize the 3D space of target human with 3D joint coordinates as local supervision. To address these issues, a desirable method would involve a framework for fusing 2D and 3D features and a strategy for optimizing the 3D space globally. Therefore, this paper presents 3D JOint contrastive learning with TRansformers (JOTR) framework for handling occluded 3D human mesh recovery. Our method includes an encoder-decoder transformer architecture to fuse 2D and 3D representations for achieving 2D$\&$3D aligned results in a coarse-to-fine manner and a novel 3D joint contrastive learning approach for adding explicitly global supervision for the 3D feature space. The contrastive learning approach includes two contrastive losses: joint-to-joint contrast for enhancing the similarity of semantically similar voxels (i.e., human joints), and joint-to-non-joint contrast for ensuring discrimination from others (e.g., occlusions and background). Qualitative and quantitative analyses demonstrate that our method outperforms state-of-the-art competitors on both occlusion-specific and standard benchmarks, significantly improving the reconstruction of occluded humans.

연구 동기 및 목표

• 기존 방법이 2D 정렬과 국소 3D 관절 감독에만 집중하여 망가진 또는 혼잡한 환경에서 일반화 능력이 떨어지는 데 대한 한계를 해결하기 위해.
• 2D 및 3D 표현을 융합하여 군집-세밀한 방식으로 2D 및 3D 정렬을 동시에 향상시켜 3D 인간 메시 복구를 개선하기 위해.
• 목표 인간을 망가짐과 배경으로부터 구분할 수 있도록 전체 3D 특징 공간에 전역 감독을 제공하여 3D 표현의 의미적 명확성을 향상시키기 위해.
• 단일 이미지 기반 3D 재구성의 불안정한 성질을 극복하기 위해 대비 학습 목표를 도입하여 구분 능력 있는 3D 특징 학습을 강화하기 위해.
• 망각 특화 및 표준 3D 인간 메시 복구 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• JOTR는 2D 전역 특징(2D 특징 맵에서 평탄화된 것)과 3D 국소 특징(3D 관절 좌표에서 샘플링된 것)을 인코더-디코더 트랜스포머 아키텍처를 통해 융합하여 2D 및 3D 정렬을 동시에 수행한다.
• 이 방법은 군집-세밀한 회귀 전략을 사용하며, 중간 예측을 다중 트랜스포머 레이어를 통해 개선하여 메시 정확도를 향상시킨다.
• 새로운 3D 관절 대비 학습 목표를 도입하여 두 가지 대비 손실을 포함한다: 관절 간 대비를 통해 유사한 의미적 특징(예: 인간 관절) 간 유사도를 향상시키고, 관절-비관절 대비를 통해 망가짐과 배경으로부터의 분리도를 보장한다.
• 관절 간 대비 손실은 관절 관련 특징의 조밀한 클러스터링을 장려하고, 관절-비관절 손실은 비관절 박자와의 분리를 강제하여 전역 3D 특징의 모호함을 줄인다.
• SMPL 파라미터 회귀를 관절 쿼리 학습에서 분리하여 간섭을 줄이고 최적화 안정성을 향상시킨다.
• 트랜스포머 내 주목사용 메커니즘은 쿼리 토큰이 3D 특징에 더 집중하도록 하여 2D-3D 융합 설계의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 통합된 2D-3D 특징 융합 프레임워크는 망가진 인간 메시 복구에서 2D 및 3D 정렬을 동시에 향상시킬 수 있는가?
• RQ2 대비 학습을 통한 전역 3D 감독은 국소 3D 관절 감독에 비해 더 구분 능력 있고 의미적으로 명확한 3D 표현을 제공하는가?
• RQ3 제안된 3D 관절 대비 학습 목표는 혼잡하거나 망가진 환경에서 성능 향상에 어떻게 기여하는가?
• RQ4 군집-세밀한 트랜스포머 기반의 회귀 전략은 엔드 투 엔드 기반 대비하여 메시 재구성 정확도를 향상시킬 수 있는가?
• RQ5 SMPL 쿼리를 관절 쿼리에서 분리하는 것은 전체 성능 향상에 얼마나 기여하는가?

주요 결과

• JOTR는 3DPW 벤치마크에서 최신 기술 수준의 성능을 달성하여 자연 환경에서의 3D 메시 재구성에서 이전 방법을 능가한다.
• CMU-Panoptic 데이터셋에서 JOTR는 다중 인물 실내 환경에서 이전 방법을 초월하여 복잡하고 혼잡한 환경에서도 뛰어난 내성성을 보였다.
• 제거 분석 결과 3D 특징 융합이 성능 향상에 기여하며, 2D 특징을 평탄화하는 것이 망가진 영역에서 2D 관절 샘플링보다 더 우수한 성능을 보였다.
• 관절-비관절 대비 손실이 관절 간 대비 손실보다 더 크게 성능 향상에 기여하여 전역 분리의 중요성을 입증한다.
• 주의 히트맵의 시각화 결과, 최종 레이어의 쿼리 토큰이 3D 특징에 집중하는 경향을 보여, 융합 메커니즘의 효과성을 검증한다.
• 특징 시각화 결과, 대비 학습 목표가 인간 관절에 대해 더 조밀하고 잘 분리된 임베딩을 유도하여 3D 표현의 명확성을 향상시킨다.