[논문 리뷰] A simple yet effective baseline for 3d human pose estimation

Julieta Martínez, Rayat Hossain외 2명|arXiv (Cornell University)|2017. 05. 08.

Human Pose and Action Recognition참고 문헌 48인용 수 98

한 줄 요약

가벼운 피드포워드 네트워크가 2D 관절 위치를 카메라 좌표의 3D로 올려주며 Human3.6M에서 최첨단 성과를 달성하고, 2D 탐지기 출력으로도 강한 성능을 유지합니다.

ABSTRACT

Following the success of deep convolutional networks, state-of-the-art methods for 3d human pose estimation have focused on deep end-to-end systems that predict 3d joint locations given raw image pixels. Despite their excellent performance, it is often not easy to understand whether their remaining error stems from a limited 2d pose (visual) understanding, or from a failure to map 2d poses into 3-dimensional positions. With the goal of understanding these sources of error, we set out to build a system that given 2d joint locations predicts 3d positions. Much to our surprise, we have found that, with current technology, "lifting" ground truth 2d joint locations to 3d space is a task that can be solved with a remarkably low error rate: a relatively simple deep feed-forward network outperforms the best reported result by about 30\% on Human3.6M, the largest publicly available 3d pose estimation benchmark. Furthermore, training our system on the output of an off-the-shelf state-of-the-art 2d detector (\ie, using images as input) yields state of the art results -- this includes an array of systems that have been trained end-to-end specifically for this task. Our results indicate that a large portion of the error of modern deep 3d pose estimation systems stems from their visual analysis, and suggests directions to further advance the state of the art in 3d human pose estimation.

연구 동기 및 목표

• 2d 포즈 추정과 2d-to-3d 리프팅을 분리하여 3d 포즈 추정에서 오류 원인을 이해하도록 동기를 부여한다.
• 간단한 신경망이 낮은 오차로 2d 관절을 3d 위치로 효과적으로 매핑할 수 있음을 보여준다.
• Ground-truth 2d 관절과 탐지기 출력 모두를 사용하여 Human3.6M에서 최첨단 3d 자세 정확도를 시연한다.
• 시각적 증거나 더 복잡한 아키텍처로 확장할 수 있는 경량화되고 재현 가능한 기준선을 제공한다.

제안 방법

• 입력으로 2d 관절 위치를 사용하고 카메라 좌표 프레임에서 3d 관절 위치를 예측한다.
• 선형 층, 배치 정규화, 드롭아웃, ReLU 및 잔차 연결이 있는 심층 피드포워드 네트워크를 이용한다.
• 학습 안정화를 위해 지상실측 3d 포즈를 카메라 좌표 프레임으로 회전/이동한다.
• 입력/출력의 표준 정규화 및 힙 관절을 중심으로 0이 되도록 한 3d 포즈로 학습한다.
• 가중치에 최대-노름 제약을 도입하여 안정성과 일반화 성능을 향상시킨다.
• 상용 2d 탐지기(Stacked Hourglass)를 활용해 2d 입력을 얻고, 가능할 때 탐지기를 미세조정하여 성능을 개선한다.

실험 결과

연구 질문

• RQ1 단순한 신경망 아키텍처로 2d 관절 탐지에서 3d 관절을 얼마나 잘 회귀할 수 있는가?
• RQ2 좌표 프레임 선택(카메라 프레임)이 2d-에서-3d 리프팅 성능에 미치는 영향은 무엇인가?
• RQ3 정규화 및 아키텍처 선택(배치 노름, 드롭아웃, 잔차 연결)이 2d-에서-3d 포즈 리프팅 정확도에 어떤 영향을 미치는가?
• RQ4 탐지기로 생성된 2d 관절을 사용할 때 2d-에서-3d 기준선의 강건성은 어떠한가? (ground-truth 2d 관절 대신)

주요 결과

• 단순한 심층 피드포워드 네트워크가 ground-truth 2d 관절에서 학습/테스트될 때 Human3.6M에서 37.10 mm 오차를 달성하였고, 이전의 2d-에서-3d 방법들보다 약 30% 더 나은 성능을 보인다.
• 2d 탐지기를 사용할 때도 이 방법은 end-to-end 픽셀-에서-3d 접근 방식과 비교해 최첨단 성능을 유지하며, SH 탐지를 사용한 이전 최고치(Pavlakos et al.) 대비 4.4 mm 향상을 보이고; 탐지기 미세조정으로 차이가 9.0 mm로 벌어진다.
• 잔차 연결, 배치 정규화, 드롭아웃은 의미 있는 오차 감소에 기여한다(예: 잔차가 약 8–10 mm를 절약; 배치 노름/드롭아웃 제거 시 오차가 3–8 mm 증가).
• 3d 포즈 예측을 카메라 좌표 프레임에 정렬하는 것은 매우 중요하다; 카메라 좌표가 없으면 오차가 100 mm를 넘는다는 점은 일관된 좌표계의 중요성을 강조한다.
• 이 방법은 빠르다(64개의 배치에서 예측 1회당 약 3 ms, 배치 모드에서 약 300 fps)고 경량화되어 있다(매개변수 4–5 million), 빠른 2d 탐지기와 함께 실시간 또는 준실시간 배포를 가능하게 한다.