[논문 리뷰] Weakly-Supervised 3D Pose Estimation from a Single Image using Multi-View Consistency

Guillaume Rochette, Chris Russell외 1명|arXiv (Cornell University)|2019. 09. 13.

Human Pose and Action Recognition참고 문헌 27인용 수 8

한 줄 요약

이 논문은 단일 이미지에서 다중 시점 일致성(differentiable regularizer)을 데이터 기반 정규화 요소로 사용하여 약한 감독 3D 인간 자세 추정 방법을 제안한다. 다중 시점 기하학에서 유도된 재투영 손실을 네트워크의 학습 손실에 통합함으로써 드리프트를 제거하고, 강한 감독 방법과 거의 구분되지 않는 성능을 달성하며, 학습 시 3D 진짜값을 사용하지 않고도 Panoptic 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

We present a novel data-driven regularizer for weakly-supervised learning of 3D human pose estimation that eliminates the drift problem that affects existing approaches. We do this by moving the stereo reconstruction problem into the loss of the network itself. This avoids the need to reconstruct 3D data prior to training and unlike previous semi-supervised approaches, avoids the need for a warm-up period of supervised training. The conceptual and implementational simplicity of our approach is fundamental to its appeal. Not only is it straightforward to augment many weakly-supervised approaches with our additional re-projection based loss, but it is obvious how it shapes reconstructions and prevents drift. As such we believe it will be a valuable tool for any researcher working in weakly-supervised 3D reconstruction. Evaluating on Panoptic, the largest multi-camera and markerless dataset available, we obtain an accuracy that is essentially indistinguishable from a strongly-supervised approach making full use of 3D groundtruth in training.

연구 동기 및 목표

• 3D 자세 주석의 높은 비용으로 인해 대규모 실외 3D 인간 자세 데이터셋이 부족한 문제를 해결하기 위해.
• 약한 감독 3D 자세 추정에서 흔히 발생하는 드리프트 문제를 제거하여 모델 수렴과 정확도를 향상시키기 위해.
• 3D 진짜값이나 초기 강화 학습 단계 없이도 제약 없는 다중 카메라 데이터에서 학습할 수 있도록 하기 위해.
• 약한 감독 3D 자세 학습에서 재구성 안정성과 정확도를 향상시키는 단순하고 일반화 가능한 정규화 요소를 개발하기 위해.
• 약한 감독 모델이 2D 관절 검출 결과와 카메라 캘리브레이션 정보만을 사용해 강한 감독 모델 성능에 도달할 수 있음을 입증하기 위해.

제안 방법

• 기존 카메라 파rameters를 사용하여 예측된 3D 자세를 2D 이미지 공간으로 다시 투영함으로써 다중 시점 간의 일관성을 강제하는 재투영 기반 손실을 도입한다.
• OpenPose에서 추출한 2D 관절 검출 결과와 예측된 2D 투영 결과 간의 차이를 Huber 손실(Smooth L1)을 사용해 계산한다.
• 다중 시점 일관성 손실을 네트워크의 학습 목표에 직접 통합하여 별도의 3D 재구성 또는 사전 학습이 필요 없도록 한다.
• 검증 오차 기반 조기 정지 기법을 적용하고, 페닉스(Panoptic) 데이터셋에서 밀리미터 단위의 관절별 평균 3D 오차를 사용해 평가한다.
• 3D 자세 회귀 네트워크를 2D 감독과 카메라 캘리브레이션 정보만을 사용해 엔드 투 엔드로 학습하며, 학습 시 3D 레이블이 전혀 사용되지 않는다.
• 다중 시점 스테레오의 기하학적 제약 조건을 활용하여 3D 자세 예측을 암묵적으로 정규화하고 드리프트를 방지한다.

실험 결과

연구 질문

• RQ1 다중 시점 일치가 약한 감독 3D 자세 추정에서 드리프트를 방지하는 효과적인 정규화 요소로 기능할 수 있는가?
• RQ2 3D 진짜값을 사용하지 않고 약한 감독 모델이 강한 감독 모델 수준의 성능을 얼마나 달성할 수 있는가?
• RQ3 학습 목표에 재투영 손실을 통합하면 3D 감독을 통한 초기 학습 단계가 필요 없어지는가?
• RQ4 팔꿈치, 손목, 발목, 귀와 같이 도전적인 관절에 대해 제안된 방법은 강력한 기준 모델 대비 어떻게 성능을 내는가?
• RQ5 명시적인 3D 감독 없이도 다양한 자세와 가림 현상에 대해 일반화 성능을 유지를 할 수 있는가?

주요 결과

• 몸체 전용 자세 작업에서 약한 감독 모델은 평균 3D 오차 71.019 mm를 기록했으며, 강한 감독 기준 모델의 71.013 mm와 거의 동일하다.
• 몸체와 손이 포함된 구성에서 약한 감독 모델은 87.015 mm의 오차를 기록했으며, 강한 감독 모델의 84.115 mm보다 3 mm 뿐 높다.
• 손목과 팔꿈치(좌우)와 같은 일반적으로 추정이 어려운 관절에서 약한 감독 접근법이 강한 감독 모델을 초월하는 성능을 보였다.
• 모델은 강한 감독 기준 모델과 거의 동일한 시각적 결과를 보였으며, 둘 다 시각 예시에서 Panoptic 3D 진짜값과 밀접하게 일치했다.
• 실패 사례는 주로 2D 검출 오류(예: 잘못 검출된 손 또는 가림된 사지)로 인한 것이며, 약한 감독 아키텍처의 한계 때문이 아니었다.
• 3D 진짜값을 전혀 사용하지 않고도 Panoptic 데이터셋에서 최신 기준 성능을 달성함으로써, 다중 시점 일치 정규화 요소의 효과성을 입증했다.