[논문 리뷰] It's all Relative: Monocular 3D Human Pose Estimation from Weakly Supervised Data

Matteo Ruggero Ronchi, Oisin Mac Aodha외 2명|arXiv (Cornell University)|2018. 05. 17.

Human Pose and Action Recognition인용 수 15

한 줄 요약

이 논문은 3D 지도 데이터의 비용이 많이 들기 때문에 비용이 많이 들지 않는 3D 지도 데이터 대신 상대적 깊이 정보만을 사용하는 약한 감독 기반 3D 인간 자세 추정 방법을 제안한다. 희박한 상대적 깊이 제약 조건을 사용하여 리프팅 기반 모델을 훈련시킴으로써, 인간 3.6M에서 경쟁적인 성능을 달성하였으며, 훨씬 더 약한 감독 조건에도 불구하고 완전한 감독 방법과 유사한 성능을 보였고, 이는 기존 2D 데이터셋을 야외 환경에서 3D 자세 추정에 활용할 수 있게 하였다.

ABSTRACT

We address the problem of 3D human pose estimation from 2D input images using only weakly supervised training data. Despite showing considerable success for 2D pose estimation, the application of supervised machine learning to 3D pose estimation in real world images is currently hampered by the lack of varied training images with corresponding 3D poses. Most existing 3D pose estimation algorithms train on data that has either been collected in carefully controlled studio settings or has been generated synthetically. Instead, we take a different approach, and propose a 3D human pose estimation algorithm that only requires relative estimates of depth at training time. Such training signal, although noisy, can be easily collected from crowd annotators, and is of sufficient quality for enabling successful training and evaluation of 3D pose algorithms. Our results are competitive with fully supervised regression based approaches on the Human3.6M dataset, despite using significantly weaker training data. Our proposed algorithm opens the door to using existing widespread 2D datasets for 3D pose estimation by allowing fine-tuning with noisy relative constraints, resulting in more accurate 3D poses.

연구 동기 및 목표

• 실세계 환경에서 대규모 3D 인간 자세 데이터셋의 부족 문제를 해결하여 3D 자세 추정 모델의 훈련과 평가를 가능하게 하기 위해.
• 상대적 깊이 정보—간단하고 희박하며 크라우드소싱으로 수집 가능한 정보—가 3D 자세 추정기 훈련을 위한 완전한 3D 감독의 실질적인 대안이 될 수 있는지 탐색하기 위해.
• 상대적 깊이 제약 조건을 통한 약한 감독이 표준 벤치마크에서 완전한 감독 방법과 경쟁 가능한 성능을 낼 수 있음을 보여주기 위해.
• 향후 약한 감독 기반 3D 자세 추정 연구를 가능하게 하기 위해 상대적 관절 깊이 레이블링 데이터셋을 공개하기 위해.

제안 방법

• 2D 관절 검출 결과를 입력으로 받아 3D 자세로 변환하는 리프팅 기반 접근 방식을 사용하며, 훈련 과정에서 완전한 3D 지도 데이터가 필요로 하지 않는다.
• 특정 관절 쌍 간의 상대적 깊이 제약 조건을 강제하는 새로운 손실 함수를 도입하여, 모델이 어느 관절이 카메라에 더 가까운지 학습하도록 한다.
• 상대적 깊이 감독은 크라우드소싱 레이블링을 통해 수집되며, 레이블러가 두 관절 중 어느 것이 카메라에 더 가까운지 표시함으로써, 낮은 수준의 감독이지만 효과적인 지도 신호를 제공한다.
• 2D 관절 감독과 상대적 깊이 제약 조건을 조합하여 엔드 투 엔드로 모델을 훈련시키며, 후자의 경우 희박하고 노이즈가 섞여 있지만 학습에 충분하다.
• Human3.6M 및 LSP 데이터셋에서 평가하며, 일반화를 향상시키기 위해 추가적인 상대적 깊이 레이블링을 사용하여 미세조정을 수행한다.
• 모델은 시뮬레이션된 노이즈 실험을 통해 노이즈에 강건함을 입증하였으며, 제한된 감독 조건에서도 강력한 성능 유지를 보였다.

실험 결과

연구 질문

• RQ1 크라우드소싱 레이블링을 통해 수집한 상대적 깊이 정보를 효과적으로 활용하여 3D 인간 자세 추정 모델을 훈련시킬 수 있는가?
• RQ2 상대적 깊이 감독을 통해 훈련된 3D 자세 추정기의 성능은 표준 벤치마크에서 완전한 감독 기반 기준 모델과 비교해 어떻게 되는가?
• RQ3 상대적 깊이를 통한 약한 감독이, 훈련 데이터에 포함되지 않은 다양한 자세와 시점에서의 일반화 성능을 향상시킬 수 있는가?
• RQ4 완전한 3D 지도 데이터 없이 2D 관절 검출 결과와 상대적 깊이 제약 조건만으로도 경쟁 가능한 3D 자세 추정 성능를 달성할 수 있는가?

주요 결과

• 제안된 방법은 상대적 깊이 감독만을 사용하여 Human3.6M에서 프로토콜 #2 기준 평균 오차 48.5 mm를 기록하였으며, 이는 완전한 감독 방법과 유사한 성능이다.
• 추가적인 상대적 깊이 레이블링을 사용하여 LSP에서의 미세조정을 수행한 결과, 상대적 레이블링 오차가 24.1%로 감소하였으며, 이는 완전한 감독 기반 기준 모델을 초월하였다.
• LSP 데이터셋에서만 상대적 모델을 처음부터 훈련시킨 결과, 테스트 오차가 27.1%로 나타났으며, 이는 해당 데이터셋에서 완전한 감독 기반 기준 모델을 뛰어넘었다.
• 모델은 훈련 데이터에 포함되지 않은 흔하지 않은 자세와 시점에서도 잘 일반화되며, 특히 LSP에서의 미세조정 이후에 그 성능이 더욱 향상됨을 정성적 결과를 통해 확인하였다.
• 상대적 깊이 쌍에 대해 시뮬레이션된 노이즈가 성능에 미치는 영향이 미미하여, 실제 레이블링 노이즈에 대한 강건성을 입증하였다.
• 기존 2D 데이터셋에만 희박하고 쉽게 수집 가능한 상대적 깊이 레이블링 정보를 추가함으로써, 3D 자세 추정에 활용할 수 있도록 하였다.