[논문 리뷰] Weakly Supervised Generative Network for Multiple 3D Human Pose Hypotheses

Chen Li, Gim Hee Lee|arXiv (Cornell University)|2020. 08. 13.

Human Pose and Action Recognition참고 문헌 33인용 수 14

한 줄 요약

이 논문은 2D 투영 손실과 GAN 유사한 사전 및 다양성 정규화를 사용하여, 2D 이미지에서 3D 인간 자세의 다중 모드 후행 분포를 KL 발산 최소화를 통해 근사하는 약한 지도 학습 기반의 딥 생성 네트워크를 제안한다. 이 방법은 2D-3D 참값 대응 관계가 필요 없이 Human3.6M, MPII 및 MPI-INF-3DHP에서 최신 기준 성능을 달성한다.

ABSTRACT

3D human pose estimation from a single image is an inverse problem due to the inherent ambiguity of the missing depth. Several previous works addressed the inverse problem by generating multiple hypotheses. However, these works are strongly supervised and require ground truth 2D-to-3D correspondences which can be difficult to obtain. In this paper, we propose a weakly supervised deep generative network to address the inverse problem and circumvent the need for ground truth 2D-to-3D correspondences. To this end, we design our network to model a proposal distribution which we use to approximate the unknown multi-modal target posterior distribution. We achieve the approximation by minimizing the KL divergence between the proposal and target distributions, and this leads to a 2D reprojection error and a prior loss term that can be weakly supervised. Furthermore, we determine the most probable solution as the conditional mode of the samples using the mean-shift algorithm. We evaluate our method on three benchmark datasets -- Human3.6M, MPII and MPI-INF-3DHP. Experimental results show that our approach is capable of generating multiple feasible hypotheses and achieves state-of-the-art results compared to existing weakly supervised approaches. Our source code is available at the project website.

연구 동기 및 목표

• 심도 모호성으로 인해 깊이가 불확실한 단일 2D 영상에서 3D 인간 자세 추정의 역 문제를 해결한다.
• 비용이 많이 드는 2D-3D 대응 관계가 필요한 강한 지도 학습의 한계를 극복하기 위해 약한 지도 학습 프레임워크를 도입한다.
• 2D 관측 키포인트와 인간 유사한 구조에 일치하는 다양한 실재감 있는 3D 자세 가설을 생성한다.
• 생성 모델의 모드 붕괴를 방지하기 위해 명시적인 다양성 촉진 손실을 통합한다.
• Human3.6M, MPII 및 MPI-INF-3DHP를 포함한 벤치마크 데이터셋에서 약한 지도 학습 방법 중 최신 기준 성능을 달성한다.

제안 방법

• 2D 자세 입력에 조건이 되는 딥 생성 네트워크를 사용하여 제안 분포를 모델링하며, 잠재 코드는 표준 정규 분포에서 샘플링된다.
• 2D 재투영 오차와 사전 항목을 조합한 손실을 최적화하여 제안 분포와 알려지지 않은 목표 후행 분포 간의 KL 발산을 최소화한다.
• 생성된 3D 자세가 인간다운 실재감 있는 구조를 가지도록 최대 평균 차이(MMD) 기반의 판별기 사용한다.
• 생성된 가설의 모드 붕괴를 방지하고 다양성을 촉진하기 위해 $\mathcal{L}_{\text{reg}}$ 및 $\mathcal{L}_{\text{rec}}$ 두 가지 추가 손실을 도입한다.
• 평균 이동 알고리즘을 사용하여 생성된 샘플의 조건부 모드로 가장 가능성이 높은 3D 자세를 추정한다.
• 잠재 코드가 0인 입력에서의 출력을 사용하여 조건부 모드를 근사하는 시간 효율적인 변형을 제안한다.

실험 결과

연구 질문

• RQ1 2D-3D 참값 애너테이션이 필요 없이 약한 지도 학습 기반의 딥 생성 모델이 단일 2D 영상에서 다수의 타당한 3D 인간 자세 가설을 효과적으로 생성할 수 있는가?
• RQ2 약한 지도 학습만으로 단일 2D 영상에서 3D 자세의 다중 모드 후행 분포를 어떻게 근사할 수 있는가?
• RQ3 다양성 촉진 손실이 생성된 3D 자세 가설의 품질과 다양성에 얼마나 기여하는가?
• RQ4 제안된 방법은 MPII 및 MPI-INF-3DHP와 같은 다양한 환경과 데이터셋에 얼마나 잘 일반화되는가?
• RQ5 평균 이동 알고리즘과 0-잠재 코드 근사법이 생성된 가설들 중에서 가장 가능성이 높은 3D 자세를 효과적으로 식별할 수 있는가?

주요 결과

• 제안된 방법은 Human3.6M 데이터셋에서 최상의 가설(BH) 설정에서 31.6 mm의 MPJPE를 달성하여 기존의 약한 지도 학습 방법을 초월한다.
• 다양성 정규화($\mathcal{L}_{\text{reg}}$ 및 $\mathcal{L}_{\text{rec}}$)를 포함한 전체 모델은 표준편차(STD) 77.4와 STD-FPS 122.3을 기록하여 생성된 자세의 높은 다양성을 보여준다.
• 다양성 손실을 제거하면 STD는 3.6으로, STD-FPS는 4.8로 감소하여, 이는 다양성 정규화 손실이 모드 붕괴 방지 및 다양성 증진에 핵심적인 역할을 한다는 것을 확인한다.
• 모델은 제약이 없는 실외 환경에도 잘 일반화되어, BH 설정에서 MPI-INF-3DHP 데이터셋에서 85.0%의 PCK 성능을 달성하며 기존의 약한 지도 학습 방법을 뛰어넘는다.
• 제거 실험 결과, $\theta_{\text{reg}}$의 가중치를 증가시키면 다양성이 향상되지만, 특정 지점 이후로 정확도가 떨어지며 다양성과 정밀도 사이의 상충 관계를 확인한다.
• MPII에 대한 정성적 결과는 생성된 3D 자세가 다양하며, 그 2D 재투영 결과가 입력 2D 키포인트와 잘 일치함을 보여주어 다중 해의 일관성을 확인한다.