[논문 리뷰] Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose Estimation

Jogendra Nath Kundu, Siddharth Seth외 5명|arXiv (Cornell University)|2022. 04. 04.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 쌍화되지 않은 이미지 및 3D 자세 시퀀스 간의 비국소 잠재 관계를 흡수하여, 쌍화된 지도 없이 도메인 적응을 가능하게 하는 자기지도 학습 3D 인간 자세 추정 프레임워크를 제안한다. 사전 훈련된 생성적 적대적 autoencoder를 활용해 자세의 타당성을 확보하고, 자세 및 운동 공간에서 고차원 비국소 관계를 도입함으로써, 3DPW 및 3DHP와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하며, 예측 불가능한 전이 설정에서 MPJPE를 86.2 mm로 감소시킨다.

ABSTRACT

Available 3D human pose estimation approaches leverage different forms of strong (2D/3D pose) or weak (multi-view or depth) paired supervision. Barring synthetic or in-studio domains, acquiring such supervision for each new target environment is highly inconvenient. To this end, we cast 3D pose learning as a self-supervised adaptation problem that aims to transfer the task knowledge from a labeled source domain to a completely unpaired target. We propose to infer image-to-pose via two explicit mappings viz. image-to-latent and latent-to-pose where the latter is a pre-learned decoder obtained from a prior-enforcing generative adversarial auto-encoder. Next, we introduce relation distillation as a means to align the unpaired cross-modal samples i.e. the unpaired target videos and unpaired 3D pose sequences. To this end, we propose a new set of non-local relations in order to characterize long-range latent pose interactions unlike general contrastive relations where positive couplings are limited to a local neighborhood structure. Further, we provide an objective way to quantify non-localness in order to select the most effective relation set. We evaluate different self-adaptation settings and demonstrate state-of-the-art 3D human pose estimation performance on standard benchmarks.

연구 동기 및 목표

• 실제 환경(예: 자연계 환경)에서 비용이 많이 들고 현실적으로 구현하기 어려운 쌍화된 지도 학습의 제한을 극복하기 위해, 레이블이 있는 소스 도메인에서 레이블이 없는 타겟 도메인으로의 자기지도 적응을 가능하게 하여 도메인 이동 문제를 해결한다.
• 쌍화된 지도 학습의 제한을 극복하기 위해, 쌍화되지 않은 이미지 및 3D 자세 데이터를 잠재 공간에서 구조적이고 개체 기반의 관계 지식을 통해 정렬하는 방법을 개발한다.
• 자세 및 운동 시퀀스에서 장거리 비국소 상호작용을 모델링하여 표현 학습에서 개체 수준의 비일치를 줄인다.
• 다중 시점, 깊이 또는 2D 키포인트 지도 없이도 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 프레임워크는 두 가지 명시적 매핑을 사용한다: 이미지-잠재 CNN과 사전 강화된 GAN 기반 autoencoder(AAE)에서 사전에 학습된 잠재-자세 디코더.
• 반복적 AAE를 사용해 쌍화되지 않은 3D 자세 시퀀스에서 운동 임베딩을 사전 훈련함으로써 시간적 일관성과 타당성을 확보한다.
• 자세 및 운동 공간에서 국소 이웃을 초월한 장거리 상호작용을 모델링하기 위해 비국소 관계(예: '자세 뒤집기' 및 '뒤로 뒤집기')를 도입한다.
• 고정된 신경망을 통해 관계 에너지 함수를 학습하며, 이는 관계적 대응(예: 뒤집힌 또는 반전된 시퀀스)의 잠재 임베딩을 회귀한다.
• 이미지-잠재 네트워크는 이러한 관계 에너지를 통한 흡수를 통해, 이미지와 자세 잠재 다각형 간의 차이를 최소화한다.
• 진행적 훈련 스케줄은 다중 관계 손실을 적용한다: $\mathcal{L}_{LCR}$, $\mathcal{L}_{HCR}$, $\mathcal{L}_{3}^{z}$, $\mathcal{L}_{2}^{v}$, 및 $\mathcal{L}_{3}^{v}$로 점진적으로 정렬을 개선한다.

실험 결과

연구 질문

• RQ1 잠재 자세 및 운동 공간에서 비국소 고차원 관계가 쌍화된 지도 없이도 쌍화되지 않은 이미지와 3D 자세 데이터를 효과적으로 정렬할 수 있는가?
• RQ2 장거리 상호작용을 모델링함으로써 자기지도 학습 3D 자세 추정에서 표현 정렬을 향상시키고 개체 수준의 비일치를 줄일 수 있는가?
• RQ3 제안된 프레임워크가 자연계 및 스튜디오 환경을 포함한 다양한 도메인으로 일반화되는 정도는 어느 정도인가?
• RQ4 사전 훈련된 생성 디코더가 타당성을 강제하면서도 레이블이 없는 타겟 도메인으로의 효과적인 적응을 가능하게 할 수 있는가?
• RQ5 다양한 관계 손실이 최종 성능에 기여하는 방식은 어떠한가? 어떤 조합이 최적의 일반화를 이끌어내는가?

주요 결과

• 제안된 방법 Ours(SH → W)는 예측 불가능한 전이 설정에서 3DPW 벤치마크에서 최신 기술 수준의 MPJPE 86.2 mm를 달성하며, 이는 이전 방법들을 능가한다.
• 비국소 자세 및 운동 관계 흡수($\mathcal{L}_{3}^{z}$ 및 $\mathcal{L}_{3}^{v}$)를 추가함으로써 MPJPE는 소스 전용일 때 209.6 mm에서 86.2 mm로 감소하여 뚜렷한 향상이 확인되었다.
• 제거 분석 결과, 고차원 비국소 운동 관계 흡수($\mathcal{L}_{2}^{v}$ 및 $\mathcal{L}_{3}^{v}$)가 개체 수준의 비일치를 줄이는 데 핵심적임을 확인하였다.
• 추가로 레이블이 있는 소스로 스튜디오 환경의 Human3.6M 데이터를 사용함으로써 도메인 간 격차가 크게 줄어들었고, 자연계 데이터로의 일반화 성능이 향상되었다.
• 정성적 결과는 다양한 자세, 옷차림 및 배경에서도 견고한 일반화 성능을 보였으며, 주로 심한 가림 또는 드문 운동 자세에서 실패가 발생하였다.
• 쌍화된 지도 없이도 사전 강화된 생성 디코더 덕분에 타당한 3D 자세 출력을 유지하였다.