[논문 리뷰] Predicting Camera Viewpoint Improves Cross-dataset Generalization for 3D Human Pose Estimation

Zhe Wang, Daeyun Shin외 1명|arXiv (Cornell University)|2020. 04. 07.

Human Pose and Action Recognition참고 문헌 53인용 수 6

한 줄 요약

이 논문은 단안 3D 인체 자세 추정에서 교차 데이터셋 일반화를 향상시키기 위해 신체 중심 좌표계에 대한 카메라 시점 예측을 보조 과제로 제안한다. 기존의 관절 좌표만을 사용하여 3D 자세와 카메라 시점을 동시에 예측하도록 모델을 훈련시킴으로써, 데이터셋에 특화된 카메라 분포에 대한 과적합을 줄이고, 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 국지 클러스터링 기반 베이스라인 대비 MPJPE에서 3.4 mm 향상되었다.

ABSTRACT

Monocular estimation of 3d human pose has attracted increased attention with the availability of large ground-truth motion capture datasets. However, the diversity of training data available is limited and it is not clear to what extent methods generalize outside the specific datasets they are trained on. In this work we carry out a systematic study of the diversity and biases present in specific datasets and its effect on cross-dataset generalization across a compendium of 5 pose datasets. We specifically focus on systematic differences in the distribution of camera viewpoints relative to a body-centered coordinate frame. Based on this observation, we propose an auxiliary task of predicting the camera viewpoint in addition to pose. We find that models trained to jointly predict viewpoint and pose systematically show significantly improved cross-dataset generalization.

연구 동기 및 목표

• 기존의 3D 인체 자세 데이터셋에서 신체에 대한 카메라 시점 분포에 대한 체계적 편향을 조사한다.
• 데이터셋에 특화된 편향으로 인해 발생하는 3D 자세 추정의 낮은 교차 데이터셋 일반화 문제를 해결한다.
• 추가적인 애너테이션 없이도 모델의 강건성을 향상시킬 수 있는 새로운 보조 과제인 카메라 시점 예측을 제안한다.
• 시점 예측이 다양한 데이터셋 간의 일반화를 향상시키며, 개별 데이터셋에서의 성능 유지를 또는 향상시키는지 입증한다.

제안 방법

• 카메라 중심 좌표계와 신체 중심 좌표계 간의 상대 회전을 추정하는 보조 시점 예측 브랜치를 도입한다.
• 신체 중심의 허리 벡터에 대한 카메라 방향의 k-means 클러스터링을 통해 실제 3D 관절 좌표에서 시점을 유도한다.
• 이산적 시점 예측을 위한 분류 헤드와 연속적 시점 추정을 위한 회귀 헤드를 사용한다.
• 최종 자세 예측은 카메라 중심 프레임에서 이루어지며, 시점 예측은 교차 엔트로피 손실과 회귀 손실을 함께 사용한다.
• PoseNet과 같은 표준 3D 자세 모델에 시점 헤드를 추가하여 공동 최적화를 가능하게 한다.
• 시점 레이블은 기존의 3D 관절 데이터에서 직접 계산되므로 새로운 애너테이션이 필요하지 않다.

실험 결과

연구 질문

• RQ1 3D 인체 자세 데이터셋 간의 카메라 시점 분포의 체계적 차이가 교차 데이터셋 일반화에 어떤 영향을 미치는가?
• RQ2 신체 중심 프레임에 대한 카메라 시점 예측이 특정 데이터셋 편향에 대한 과적합을 줄일 수 있는가?
• RQ3 보조 과제로 시점 예측을 추가함으로써 다양한 데이터셋에서의 3D 자세 추정 성능이 향상되는가?
• RQ4 시점 표현 방식의 선택(분류 vs. 회귀)이 성능에 어떤 영향을 미치는가?
• RQ5 추가 애너테이션 또는 도메인 적응 없이도 시점 예측이 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 다섯 가지 벤치마크 데이터셋(H36M: 52.0 mm, GPA: 53.3 mm, SURREAL: 37.1 mm, 3DPW: 89.7 mm, 3DHP: 90.3 mm)에서 모두 최신 기술 수준의 MPJPE 성능을 달성하였다.
• 각 데이터셋의 국지 클러스터링을 사용한 베이스라인 대비 MPJPE를 3.4 mm 향상시켰다.
• k=100으로 설정한 k-means 클러스터링이 최고의 성능을 보였으며, 여러 k 값에 대해 최적 설정과 MPJPE 차이가 6 mm 이내였다.
• 쿼터니언 기반 분류 방식은 단순 회귀 예측 대비 4.3 mm의 오차 감소를 이뤘다.
• 표준 자세 예측 브랜치를 추가해도 성능 향상이 없었으며, 이는 일반화에 있어 시점 예측이 자세 예측보다 더 효과적임을 시사한다.
• 이 방법은 강력한 교차 데이터셋 일반화 성능을 보였으며, H36M에서 훈련된 모델는 자신의 데이터셋에서 최고 성능을 내며, 특히 시점 분포가 가장 다를 것으로 예상되는 3DHP 데이터셋에서도 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.