[논문 리뷰] Sparseness Meets Deepness: 3D Human Pose Estimation from Monocular Video

Xiaowei Zhou, Menglong Zhu외 3명|arXiv (Cornell University)|2015. 11. 30.

Human Pose and Action Recognition참고 문헌 51인용 수 39

한 줄 요약

이 논문은 2차원 관절 검출을 위한 딥 컨volution 네트워크와 스파arsity 기반 3D 기하학적 사전, 그리고 기대값 최적화(EM) 알고리즘을 통한 시간적 스무스함을 통합하여 단일 영상에서 3차원 인간 자세 추정을 위한 새로운 프레임워크를 제안한다. 이 방법은 2차원 검출 불확실성과 3차원 재구성을 동시에 최적화하여 3D 자세 정확도를 향상시키며, Human3.6M에서 최신 기준 성능을 달성하고 도전적인 PennAction 데이터셋에서 강력한 2D 기반 모델을 초월한다.

ABSTRACT

This paper addresses the challenge of 3D full-body human pose estimation from a monocular image sequence. Here, two cases are considered: (i) the image locations of the human joints are provided and (ii) the image locations of joints are unknown. In the former case, a novel approach is introduced that integrates a sparsity-driven 3D geometric prior and temporal smoothness. In the latter case, the former case is extended by treating the image locations of the joints as latent variables. A deep fully convolutional network is trained to predict the uncertainty maps of the 2D joint locations. The 3D pose estimates are realized via an Expectation-Maximization algorithm over the entire sequence, where it is shown that the 2D joint location uncertainties can be conveniently marginalized out during inference. Empirical evaluation on the Human3.6M dataset shows that the proposed approaches achieve greater 3D pose estimation accuracy over state-of-the-art baselines. Further, the proposed approach outperforms a publicly available 2D pose estimation baseline on the challenging PennAction dataset.

연구 동기 및 목표

• 자기 음영, 시점 변화, 영상 노이즈로 인해 발생하는 단일 영상에서 3차원 인간 자세 복원의 본질적 모호성 문제를 해결하기 위해.
• 2차원 관절 검출 불확실성과 3차원 기하학적 제약 조건을 함께 모델링하여 3차원 자세 추정 정확도를 향상시키기 위해.
• 동기화된 2D-3D 학습 데이터가 없이도 2D 애너테이션과 모션 캡처에서 유도된 3D 사전만을 활용하여 강건한 3차원 자세 추정을 가능하게 하기 위해.
• 시간적 스무스함과 통합된 3차원 자세 사전를 통해 검출기 오류와 음영에 대한 강건성을 향상시키기 위해.

제안 방법

• 2차원 관절 위치에 대한 신뢰도 히트맵을 예측하기 위해 검출 불확실성을 모델링하는 딥 완전 컨volution 네트워크를 훈련한다.
• 모션 캡처 데이터에서 유도된 3차원 자세 사전를 구성하여 타당한 3차원 인간 자세를 표현한다.
• 2차원 위치의 불확실성을 무시하고 3차원 자세 추정과 2차원 검출을 동시에 최적화하기 위해 기대값 최적화(EM) 알고리즘을 사용한다.
• 시간적 스무스함을 3차원 자세 및 시점 파라미터에 강제하여 프레임 간 일관성을 향상시킨다.
• 프레임워크는 E단계(현재 3차원 자세를 기반으로 2차원 검출 불확실성 추정)와 M단계(2차원 검출과 기하학적 사전를 이용해 3차원 자세 업데이트)를 번갈아 수행한다.
• 동기화된 2D-3D 학습 데이터가 필요 없으며, 대신 2D 애너테이션과 모션 캡처 데이터에서 유도된 3D 사전에 의존한다.

실험 결과

연구 질문

• RQ1 2차원 검출과 3차원 재구성을 동시에 최적화함으로써 단일 영상에서 3차원 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 2차원 관절 위치의 검출 불확실성을 3차원 자세 추론 과정에서 효과적으로 모델링하고 불확실성을 제거할 수 있는가?
• RQ3 스파arsity 기반 3차원 기하학적 사전과 시간적 스무스함이 단일 영상 3차원 자세 추정의 모호성을 어느 정도 감소시킬 수 있는가?
• RQ4 동기화된 2D-3D 학습 데이터가 없이도 제안된 방법이 최신 기준 기법을 초월할 수 있는가?
• RQ5 실외 환경 영상에서 음영, 빠른 운동, 큰 자세 변화에 대해 이 방법은 얼마나 강건한가?

주요 결과

• Human3.6M 데이터셋에서 제안된 방법은 최신 기준 기반 모델보다 높은 3차원 자세 추정 정확도를 달성하여 3차원 사전과 시간 모델링의 융합 효과를 입증하였다.
• PennAction 데이터셋에서 골프 스윙 동작의 경우 14.03 픽셀로, 기준 모델의 24.78 픽셀에서 개선되었고, 테니스 포핸드 동작의 경우 20.99 픽셀로 29.15 픽셀에서 개선되었다.
• 골프 스윙 동작에서 PCK 지표는 0.38에서 0.54로 향상되었고, 테니스 포핸드 동작에서는 0.40에서 0.45로 향상되어 관절 위치 정확도 향상을 나타냈다.
• 초기화 단계(딥 컨volution 네트워크 히트맵 사용)만으로도 기준 모델을 초월하는 성능을 달성하여 딥 특징이 2차원 검출에 기여하는 가치를 보여주었다.
• EM 최적화 단계는 3차원 기하학적 제약 조건과 시간적 스무스함을 활용하여 평균 40% 이상의 오차 감소를 이끌어내어 성능 향상에 기여하였다.
• 자기 음영, 빠른 운동, 다양한 시점 조건에서도 성공적으로 자세를 복원하였으며, PennAction에서의 정성적 결과를 통해 이를 확인할 수 있었다.