[논문 리뷰] Learning 3D Human Pose from Structure and Motion

Rishabh Dabral, Anurag Mundhada외 4명|arXiv (Cornell University)|2017. 11. 25.

Human Pose and Action Recognition참고 문헌 40인용 수 7

한 줄 요약

이 논문은 체계적으로 유도된 손실(관절 각도 제한 및 좌우 대칭성)과 시간적 포즈 정련 네트워크를 활용하여, 실제 환경에서의 3D 인간 자세 추정 성능을 향상시키는 약한 지도 학습 프레임워크를 제안한다. 대규모 2D 및 합성 3D 데이터로 훈련함으로써, Human3.6M와 MPI-INF-3DHP에서 각각 11.8% 및 12% 향상된 최신 기준 성능(SoTA)을 달성하며, 일반적인 GPU에서 30 FPS로 실시간 동작을 구현한다.

ABSTRACT

3D human pose estimation from a single image is a challenging problem, especially for in-the-wild settings due to the lack of 3D annotated data. We propose two anatomically inspired loss functions and use them with a weakly-supervised learning framework to jointly learn from large-scale in-the-wild 2D and indoor/synthetic 3D data. We also present a simple temporal network that exploits temporal and structural cues present in predicted pose sequences to temporally harmonize the pose estimations. We carefully analyze the proposed contributions through loss surface visualizations and sensitivity analysis to facilitate deeper understanding of their working mechanism. Our complete pipeline improves the state-of-the-art by 11.8% and 12% on Human3.6M and MPI-INF-3DHP, respectively, and runs at 30 FPS on a commodity graphics card.

연구 동기 및 목표

• 실제 환경에서의 3D 자세 추정 과제를 해결하기 위해, 실제 3D 레이블이 부족한 현실 세계 데이터의 부족함을 해결한다.
• 훈련 과정에서 관절 각도 제한 및 좌우 대칭성과 같은 해부학적 제약 조건을 통합하여 3D 자세 추정 모델의 일반화 성능을 향상시킨다.
• 지연을 유발하는 필터를 도입하지 않고도 비디오 기반 자세 추정의 시간적 일관성을 향상시킨다.
• 기존 방법보다 뛰어난 성능을 내며, 기준 데이터셋에서 실시간 추론(30 FPS)을 달성한다.
• 3D 자세 추정을 위한 엔드 투 엔드 딥 러닝 프레임워크에서 유연하고 학습 가능한 구조적 사전 지식의 효과를 입증한다.

제안 방법

• 관절 각도 제한을 위반하는 예측 3D 자세에 대해 페널티를 주는, 구조 인식 손실 함수를 도입하여 해부학적으로 타당한 구성이 되도록 보장한다.
• 해당 좌우 뼈대 쌍 간의 L1 거리를 최소화하는 대칭성 손실을 제안하여 이원 대칭성을 강제한다.
• 이러한 손실을 이전 연구에서 제안한 뼈대 길이 비율 사전 지식과 결합하여 종합적인 해부학적 정규화 체계를 구성한다.
• N개의 연속된 예측 자세를 입력으로 받는 슬라이딩 윈도우 기반 완전 연결 시간 네트워크를 설계하여 운동 일관성을 정련한다.
• 대규모 실제 환경 2D 및 실내/합성 3D 데이터셋에서 약한 지도 학습을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 손실 표면 시각화와 민감도 분석을 통해 제안된 손실의 행동 및 영향을 해석한다.

실험 결과

연구 질문

• RQ1 유연하고 학습 가능한 해부학적 제약 조건(관절 각도 제한 및 대칭성)이 실제 환경에서의 3D 자세 추정 일반화에 기여하는가?
• RQ2 구조 인식 손실이 이전의 뼈대 길이 비율 사전 지식 대비 성능과 해부학적 타당성 측면에서 어떻게 비교되는가?
• RQ3 간단한 시간 네트워크가 지연을 유발하지 않고 자세의 매끄러움을 얼마나 향상시키고 진동을 줄일 수 있는가?
• RQ4 구조적 모델링과 시간 모델링의 조합이 Human3.6M 및 MPI-INF-3DHP와 같은 표준 기준 데이터셋에서 최신 기준 성능을 달성하는 데 기여하는가?
• RQ5 손실 표면 분석을 통해 제안된 손실이 최적화 과정의 지형에 어떤 영향을 미치는가?

주요 결과

• 제안된 구조 인식 손실 함수는 비정상적인 관절 각도 비율을 0.8%로 감소시켜([41]의 1.4% 대비) 해부학적 타당성을 크게 향상시켰다.
• SAP-Net는 Protocol 1 하에서 Human3.6M에서 55.5mm MPJPE를 달성하여 최신 기준 성능을 11.8% 향상시켰다.
• 시간 모델(TP-Net)을 추가함으로써 Human3.6M에서 MPJPE는 52.1mm로 향상되어 추가로 7% 향상되었다.
• MPI-INF-3DHP에서 메서드는 녹색 스크린 데이터 증강 없이도 103.8mm MPJPE를 달성하여 기존 최신 기준 성능 대비 12% 향상되었다.
• 대칭성 손실은 좌우 뼈대 쌍 간 평균 L1 거리를 상지의 경우 31.7%에서 하지의 경우 42.8%까지 감소시켜 강력한 대칭성 강제 효과를 입증했다.
• TP-Net는 프레임 간 뼈대 길이의 표준편차를 28.7% 감소시켜 후처리 필터 없이도 시간적 안정성이 향상되었음을 나타냈다.