[논문 리뷰] 3D Human Pose Estimation = 2D Pose Estimation + Matching

Ching-Hang Chen, Deva Ramanan|arXiv (Cornell University)|2016. 12. 20.

Human Pose and Action Recognition참고 문헌 33인용 수 13

한 줄 요약

이 논문은 단일 RGB 이미지에서 3D 인간 자세 추정을 위한 단순하면서도 매우 효과적인 이단계 방법을 제안한다: 먼저 깊이 신경망을 사용해 2D 자세를 추정하고, 그 다음에 대규모 3D 운동 캡처 자세 라이브러리와의 비모수적 매칭을 통해 3D로 올리는 방식이다. 이 방법은 Human3.6M와 같은 벤치마크 데이터셋에서 거의 모든 이전 최고 성능 방법들을 능가하며, 200ms 이내의 추론 시간에 SOTA 성능을 달성한다. 이는 상용 2D 자세 모델과 3D 모션 캡처 데이터를 활용한다.

ABSTRACT

We explore 3D human pose estimation from a single RGB image. While many approaches try to directly predict 3D pose from image measurements, we explore a simple architecture that reasons through intermediate 2D pose predictions. Our approach is based on two key observations (1) Deep neural nets have revolutionized 2D pose estimation, producing accurate 2D predictions even for poses with self occlusions. (2) Big-data sets of 3D mocap data are now readily available, making it tempting to lift predicted 2D poses to 3D through simple memorization (e.g., nearest neighbors). The resulting architecture is trivial to implement with off-the-shelf 2D pose estimation systems and 3D mocap libraries. Importantly, we demonstrate that such methods outperform almost all state-of-the-art 3D pose estimation systems, most of which directly try to regress 3D pose from 2D measurements.

연구 동기 및 목표

• 단일 RGB 이미지에서 3D 인간 자세 추정 문제를 단순하고 모듈화된 파이프라인을 통해 해결하고자 한다.
• 오염 조건에서도 정확한 2D 자세 추정이 3D로의 올리기 작업에 강력한 중간 표현으로 기능할 수 있는지 조사하고자 한다.
• 대규모 3D 모션 캡처 데이터를 활용한 비모수적 3D 예시 매칭이 깊이 예측에 얼마나 효과적인지 평가하고자 한다.
• 다양한 2D 데이터셋과 3D 모션 캡처 라이브러리를 조합하여 비구속적('in-the-wild') 이미지로의 일반화 능력을 입증하고자 한다.
• 향후 3D 자세 추정 연구를 위한 강력하고 단순한 베이스라인을 수립하고, 복잡한 엔드 투 엔드 모델들을 능가하고자 한다.

제안 방법

• 이 방법은 먼저 단일 RGB 이미지에서 2D 관절 좌표를 예측하기 위해 사전 훈련된 2D 자세 추정기(예: CNN 기반 히트맵 모델)를 사용한다.
• 그 다음, 예측된 2D 자세를 여러 개의 가상 카메라 시점으로 투영하여 훈련을 위한 대량의 합성 (2D, 3D) 자세 쌍을 생성한다.
• 비모수적 매칭 단계에서는 2D 투영된 관절 좌표 간의 L2 거리 기반으로 라이브러리 내 가장 가까운 3D 자세를 찾는다.
• 매칭 정확도를 향상시키기 위해, 매칭된 3D 자세의 2D 투영을 예측된 2D 관절 키포인트와 일치시키기 위해 닫힌 형식의 왜곡 절차를 적용한다.
• 최종 3D 자세는 왜곡 이후 예측된 2D 관절과 가장 유사하게 투영되는 라이브러리의 3D 자세를 선택함으로써 도출된다.
• 전체 파이프라인은 Human3.6M와 같은 데이터셋의 표준 분할을 사용해 훈련 및 평가되며, 성능은 MPJPE(Mean Per-Joint Position Error)로 측정된다.

실험 결과

연구 질문

• RQ1 2D 자세 추정을 먼저 수행하고 그 결과를 3D로 올리는 이단계 파이프라인은 엔드 투 엔드 3D 회귀 방법보다 성능이 뛰어날 수 있는가?
• RQ2 2D 자세 추정의 정확도가 오염 조건에서도 최종 3D 자세 성능에 얼마나 큰 영향을 미치는가?
• RQ3 3D 예시 라이브러리의 크기가 매칭 기반 3D 올리기 정확도에 어떤 영향을 미치는가?
• RQ4 실내 실험실 기반의 모션 캡처 데이터로 훈련된 3D 자세 라이브러리가 비구속적 'in-the-wild' 이미지로 일반화될 수 있는가?
• RQ5 왜곡 절차가 다양한 데이터셋 간의 일반화 및 매칭 정확도에 뚜렷한 향상을 가져오는가?

주요 결과

• 제안된 방법은 Human3.6M 데이터셋에서 거의 모든 이전 최고 성능 3D 자세 추정 시스템을 능가하며, 왜곡을 적용한 경우 Protocol 1 기준 평균 MPJPE가 57.5 mm로 기록되었고, 왜곡 없이 사용한 경우는 70.93 mm였다.
• HumanEva-I 데이터셋으로의 일반화 성능도 뛰어나며, Human3.6M에서 훈련된 모델을 사용할 경우 평균 MPJPE가 왜곡 없이 92.17 mm에서 왜곡 적용 후 68.29 mm로 감소했다.
• 3D 자세 라이브러리의 크기가 커질수록 성능이 향상되며, CNN 기반 2D 예측을 사용할 경우 약 200,000개의 예시에서, 진짜 2D 좌표를 사용할 경우 약 500,000개의 예시에서 MPJPE가 포화 상태에 도달한다.
• 중위수 MPJPE는 항상 평균보다 낮게 유지되며, 이는 소수의 이방자 관절이 평균 오차에 크게 기여하고 있음을 시사한다. 왜곡 절차는 이러한 큰 오차를 줄이는 데 도움이 된다.
• 전체 파이프라인은 200ms 이내로 실행되며(2D 추정 160ms, 200,000개 자세 라이브러리 기반 매칭 26ms), 높은 효율성을 보였다.
• 결과는 2D 자세 추정의 정확도가 오염 조건에서도 매우 높아졌기 때문에, 이제 3D로의 올리기 작업에서 주요 과제는 깊이 추정이며, 이는 데이터 기반 매칭을 통해 효과적으로 해결될 수 있음을 시사한다.