[논문 리뷰] MonoCap: Monocular Human Motion Capture using a CNN Coupled with a Geometric Prior

Xiaowei Zhou, Menglong Zhu외 4명|arXiv (Cornell University)|2017. 01. 09.

Human Pose and Action Recognition참고 문헌 55인용 수 18

한 줄 요약

MonoCap는 단일 RGB 영상에서 마커 없이 강건한 3D 복원을 가능하게 하는 단일 영상 3D 인간 운동 측정 방법을 제안한다. 이는 CNN 기반 2D 자세 추정기와 기하학적 3D 자세 사전을 EM 프레임워크를 통해 통합함으로써 달성된다. 이를 통해 2D 검출 불확실성을 근거로 하고 시간적 연속성을 강제함으로써 벤치마크 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Recovering 3D full-body human pose is a challenging problem with many applications. It has been successfully addressed by motion capture systems with body worn markers and multiple cameras. In this paper, we address the more challenging case of not only using a single camera but also not leveraging markers: going directly from 2D appearance to 3D geometry. Deep learning approaches have shown remarkable abilities to discriminatively learn 2D appearance features. The missing piece is how to integrate 2D, 3D and temporal information to recover 3D geometry and account for the uncertainties arising from the discriminative model. We introduce a novel approach that treats 2D joint locations as latent variables whose uncertainty distributions are given by a deep fully convolutional neural network. The unknown 3D poses are modeled by a sparse representation and the 3D parameter estimates are realized via an Expectation-Maximization algorithm, where it is shown that the 2D joint location uncertainties can be conveniently marginalized out during inference. Extensive evaluation on benchmark datasets shows that the proposed approach achieves greater accuracy over state-of-the-art baselines. Notably, the proposed approach does not require synchronized 2D-3D data for training and is applicable to "in-the-wild" images, which is demonstrated with the MPII dataset.

연구 동기 및 목표

• 마커나 동기화된 2D-3D 애너테이션 없이 단일 RGB 영상에서 3D 인간 자세 추정 문제를 해결한다.
• 2D 외관 특징, 3D 기하학적 사전, 시간적 일관성을 통합하여 단일 영상 3D 자세 복원의 본질적 모호성을 극복한다.
• 2D 관절 위치를 불확실성을 고려한 잠재 변수로 간주하는 확률적 프레임워크를 개발하여, 가림이나 검출 오류 상황에서도 강건한 추론을 가능하게 한다.
• 마커 기반 또는 다중 카메라 시스템에 의존하지 않도록 하여 제약이 없는 '실외 환경' 이미지에의 적용을 가능하게 한다.
• 추론 중 3D 기하학적 제약을 활용하여 2D 자세 국정 정확도를 향상시킨다.

제안 방법

• 2D 관절 위치 불확실성을 나타내는 히트맵을 생성하기 위해 깊이 전역 컨volution 신경망(아워게이지 아키텍처)을 사용한다.
• 학습된 3D 자세 사전에 대한 희소 표현을 사용하여 3D 인간 자세를 모델링한다.
• 2D 검출 불확실성을 3D 자세 추정 과정에서 무시하지 않고 근거로 삼는 기대값 최대화(EM) 알고리즘으로 추론을 공식화한다.
• 3D 자세 및 시점 파라미터에 시간적 연속성 제약을 도입하여 강건성 향상과 추적 실패 대비 능력을 향상시킨다.
• 2D 외관 특징(CNN에서 유도)과 3D 기하학적 사전(희소 표현에서 유도)을 통합된 확률적 프레임워크 내에서 통합한다.
• 예측된 2D 投영 영역가 관측된 히트맵과 일치하도록 재구성 손실을 최소화함으로써 3D 자세 추정을 최적화한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망 기반 2D 자세 추정기와 3D 기하학적 사전을 효과적으로 통합하여 단일 영상에서 3D 인간 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 2D 관절 검출의 불확실성은 어떻게 모델링하고 3D 복원 과정에서 근거로 삼을 수 있는가? 이는 강건성 향상에 어떻게 기여하는가?
• RQ3 3D 자세 시퀀스의 시간적 연속성 제약이 복원 정확도와 안정성 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법은 동기화된 2D-3D 학습 데이터가 없는 제약 없는 '실외 환경' 이미지에 일반화 가능한가?
• RQ5 3D 기하학적 사전을 통합함으로써 가림이나 외관 변화 상황에서 2D 관절 위치 국정 정확도는 어느 정도 향상되는가?

주요 결과

• MonoCap는 Human3.6M 및 MPII 벤치마크에서 기존의 단일 영상 방법들을 능가하는 최신 기술 수준의 3D 자세 추정 정확도를 달성한다.
• 128개의 사전 크기를 사용할 경우 S9 'Directions' 시퀀스에서 평균 3D 재구성 오차를 44.4 mm로 줄였으며, 더 큰 사전 크기로 갈수록 성능 향상이 이루어진다.
• EM 기반 프레임워크는 2D 검출 불확실성을 효과적으로 근거로 삼아, 히트맵이 노이즈가 많거나 정확하지 않은 상황에서도 더 정확한 3D 자세 추정을 가능하게 한다.
• 시간적 연속성 제약은 강건성을 크게 향상시키며, 프레임 간의 드리프트 감소와 일관성 향상에 기여한다.
• 제안된 방법은 동기화된 2D-3D 애너테이션 없이도 MPII 데이터셋에서 '실외 환경' 이미지에 잘 일반화됨을 입증하였다.
• 3D 사전 통합은 3D 재구성 향상 외에도 2D 관절 위치 국정 정확도 향상에 기여하며, 2D 및 3D 모델링 간 상호 이점이 있음을 보여준다.