[논문 리뷰] Forecasting Human Dynamics from Static Images

Yu-Wei Chao, Shuicheng Yan외 3명|arXiv (Cornell University)|2017. 04. 11.

Human Pose and Action Recognition참고 문헌 1인용 수 14

한 줄 요약

이 논문은 단일 RGB 이미지에서 3D 인간 신체 동역학을 예측하기 위한 첫 번째 프레임워크를 소개한다. 통합된 3D 자세 예측 네트워크(3D-PFNet)를 사용하며, 딥러닝을 통한 2D 자세 예측과 3D 자세 복원을 통합함으로써 다양한 데이터(모션 캡처 포함)로 훈련함으로써 2D 자세 예측과 3D 자세 복원 양 측면에서 최신 기술 수준(SOTA) 성능을 달성한다. Human3.6M에서 평균 관절 오차는 87.6mm이다.

ABSTRACT

This paper presents the first study on forecasting human dynamics from static images. The problem is to input a single RGB image and generate a sequence of upcoming human body poses in 3D. To address the problem, we propose the 3D Pose Forecasting Network (3D-PFNet). Our 3D-PFNet integrates recent advances on single-image human pose estimation and sequence prediction, and converts the 2D predictions into 3D space. We train our 3D-PFNet using a three-step training strategy to leverage a diverse source of training data, including image and video based human pose datasets and 3D motion capture (MoCap) data. We demonstrate competitive performance of our 3D-PFNet on 2D pose forecasting and 3D pose recovery through quantitative and qualitative results.

연구 동기 및 목표

• 단일 정적 이미지에서 미래의 3D 인간 신체 자세를 예측하는 문제를 해결하기 위해, 이전에 문헌에서 다루지 않은 과제를 해결하고자 한다.
• 2D 자세 예측과 2D 예측에서 3D 뼈대를 복원하는 것을 동시에 수행하는 통합된 딥러닝 프레임워크를 개발하고자 한다.
• 이미지 기반 자세 데이터셋, 영상 시퀀스, 3D 모션 캡처(MoCap) 데이터를 포함한 다양한 훈련 데이터를 활용하여 일반화 능력과 정확도를 향상시키고자 한다.
• 2D 예측 및 3D 변환을 하나의 유일한 구조로 통합한 3D-PFNet의 엔드 투 엔드 훈련을 가능하게 하고자 한다.
• 정적 이미지에서 3D 자세 예측이 실질적으로 가능하며, 로봇 공학 및 애니메이션과 같은 실세계 응용 분야에서 2D 예측보다 더 실용적임을 입증하고자 한다.

제안 방법

• 3D-PFNet은 단일 이미지 2D 자세 추정, 시퀀스 예측, 3D 자세 복원을 통합하기 위해 삼단계 훈련 전략을 사용한다.
• 심층 신경망(DNN)을 사용하여 시간 모델링을 활용해 단일 이미지에서 미래의 2D 자세를 예측한다.
• 별도의 3D 뼈대 변환 네트워크는 MoCap 데이터에서 유도된 합성 데이터를 사용해 예측된 2D 히트맵을 3D 관절 좌표로 변환한다.
• 이미지, 영상, MoCap 데이터셋의 조합을 사용해 3D-PFNet을 엔드 투 엔드로 훈련함으로써 강력한 일반화 능력을 확보한다.
• 3D 복원 네트워크는 MoCap 데이터에서 파생된 합성 예제를 기반으로 훈련되어, 아워가즈 네트워크에서 유도된 노이즈가 있는 2D 히트맵을 처리할 수 있다.
• 3D 자세 성능 평가에는 평균 관절 위치 오차(MPJPE)를, 2D 자세 성능 평가에는 PCK@0.05를 각각 사용한다.

실험 결과

연구 질문

• RQ1 모든 운동 신호 없이 단일 RGB 이미지에서 미래의 3D 인간 신체 자세를 정확하게 예측할 수 있는가?
• RQ2 2D 자세 예측과 3D 자세 복원을 통합함으로써 인간 동역학 예측의 정확도와 실용성은 어떻게 향상되는가?
• RQ3 MoCap 데이터에서 유도된 합성 데이터로 훈련된 DNN 기반 3D 자세 복원 네트워크가 실세계의 노이즈가 있는 2D 히트맵에 얼마나 잘 일반화되는가?
• RQ4 통합된 3D-PFNet 프레임워크의 엔드 투 엔드 훈련이 2D 및 3D 자세 예측에서 분리된 또는 두 단계적 접근보다 우수한 성능을 내는가?
• RQ5 모델은 반복적이거나 정적 종료 시퀀스에 일반화될 수 있는가? 이러한 경우에 어떻게 대처하는가?

주요 결과

• 3D-PFNet은 Human3.6M 데이터셋에서 3D 자세 복원에 대해 평균 관절 위치 오차(MPJPE) 87.6mm를 기록했으며, Convex 방법(158.6mm)과 SMPLify(154.9mm)보다 뚜렷이 뛰어난 성능을 보였다.
• 2D 자세 예측에서는 PCK@0.05 값이 타임스텝 8 이후에 안정화되어 장기 예측에서의 강건성을 보였다.
• 3D 복원 네트워크는 왼쪽 무릎(171.7mm에서 76.5mm로), 왼쪽 발목(258.5mm에서 113.4mm로)과 같은 주요 관절에서 오차를 50% 이상 감소시켰다.
• 모델은 정제된 2D 좌표가 아닌 직접 히트맵으로 훈련되어 노이즈가 있는 2D 히트맵에 대해 강건한 일반화 능력을 보였으며, 깨끗한 입력을 가정하는 기존 방법보다 성능이 뛰어났다.
• 기존 방법(NN-all 및 NN-oracle)의 실패 사례는 제안된 방법이 엔드 투 엔드 히트맵 인식 설계 덕분에 자세의 불일치 및 가림 현상에 더 강건함을 보여주었다.
• 그림 10의 정성적 결과는 3D-PFNet이 복잡한 자세와 동적 운동에서 실제값과 유사한 타당하고 정확한 3D 자세를 생성함을 확인한다.