[논문 리뷰] Learning 3D Human Dynamics from Video

Angjoo Kanazawa, Jason Zhang외 2명|arXiv (Cornell University)|2018. 12. 04.

Human Pose and Action Recognition참고 문헌 64인용 수 10

한 줄 요약

이 논문은 영상에서 이미지 특징의 시간적 인코딩을 사용하여 3D 인간 역학을 학습하는 준지도 학습 프레임워크인 Human Mesh and Motion Recovery (HMMR)를 제안한다. 인터넷 규모의 레이블이 없는 영상에서 가짜 진짜 2D 자세를 사용해 훈련함으로써, 자연 환경 데이터셋에서 최신 기술 성능을 달성하며, 더 많은 데이터로 갈수록 3D 및 2D 정확도가 단순히 향상되고, 영상에서 부드러운 3D 메시 예측과 단일 이미지에서의 동적 운동 환영을 가능하게 한다.

ABSTRACT

From an image of a person in action, we can easily guess the 3D motion of the person in the immediate past and future. This is because we have a mental model of 3D human dynamics that we have acquired from observing visual sequences of humans in motion. We present a framework that can similarly learn a representation of 3D dynamics of humans from video via a simple but effective temporal encoding of image features. At test time, from video, the learned temporal representation give rise to smooth 3D mesh predictions. From a single image, our model can recover the current 3D mesh as well as its 3D past and future motion. Our approach is designed so it can learn from videos with 2D pose annotations in a semi-supervised manner. Though annotated data is always limited, there are millions of videos uploaded daily on the Internet. In this work, we harvest this Internet-scale source of unlabeled data by training our model on unlabeled video with pseudo-ground truth 2D pose obtained from an off-the-shelf 2D pose detector. Our experiments show that adding more videos with pseudo-ground truth 2D pose monotonically improves 3D prediction performance. We evaluate our model, Human Mesh and Motion Recovery (HMMR), on the recent challenging dataset of 3D Poses in the Wild and obtain state-of-the-art performance on the 3D prediction task without any fine-tuning. The project website with video, code, and data can be found at https://akanazawa.github.io/human_dynamics/.

연구 동기 및 목표

• 제어된 환경을 넘어서 일반화 가능한 3D 인간 역학 모델을 영상에서 학습하는 것.
• 시간적 맥락을 활용하여 영상 시퀀스에서 부드러운 3D 메시 예측을 가능하게 하는 것.
• 단일 이미지에서 환영 모듈을 사용해 현재뿐만 아니라 과거 및 미래의 3D 운동을 예측하는 것.
• 가짜 2D 자세 애너테이션을 사용한 대규모 레이블이 없는 영상에서 준지도 학습을 통해 3D 인간 자세 추정 성능을 향상시키는 것.
• 인터넷 규모의 영상에서 유도된 가짜 진짜 2D 자세로 훈련하면 3D 예측 성능이 향상됨을 보여주는 것.

제안 방법

• 시간적 인코더 f_movie는 이미지 특징 φ_t의 시퀀스를 처리하여 중심 시간 창 내에서 3D 역학 표현 Φ_t를 학습한다.
• 다중 작업 헤드를 사용하여 현재 3D 자세 및 형태 Θ_t, ±Δt 프레임의 자세 변화를 예측하며, 2D 재투영 및 적대적 손실을 적용한다.
• 환영 모듈 h는 단일 이미지 특징 φ_t를 시간 표현 Φ_t로 매핑하여 테스트 시점에서 정적 이미지에서 동적 예측을 가능하게 한다.
• 3D 재투영 손실과 적대적 사전 지식을 사용하여 현실적인 3D 자세를 보장하며, 진짜 레이블이 있을 경우 3D 손실도 적용한다.
• 인터넷 규모의 레이블이 없는 데이터셋(예: InstaVariety, VLOG)의 영상과 사전 학습된 2D 검출기(OpenPose)에서 유도된 가짜 2D 자세를 사용한다.
• 프레임워크는 제한된 3D/2D 애너테이션과 막대한 레이블이 없는 영상 데이터를 융합하는 옴니-감독 학습을 지원하여 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 2D 자세 감독과 레이블이 없는 데이터에서 자기지도 학습만을 사용하여 모델이 영상에서 3D 인간 역학을 학습할 수 있는가?
• RQ2 인터넷 규모의 레이블이 없는 영상에서 가짜 2D 자세로 훈련하면 3D 자세 예측 성능이 향상되는가?
• RQ3 단일 이미지 입력을 사용하여 현재 3D 자세뿐만 아니라 타당한 과거 및 미래 운동도 예측할 수 있는가?
• RQ4 시간적 인코더는 단일 시점 기반 모델 대비 3D 예측의 부드러움을 어떻게 향상시키고 가속도 오차를 줄이는가?
• RQ5 환영 모듈이 자연 환경에서 제약이 없는 환경으로 일반화되는 정도는 어느 정도인가?

주요 결과

• HMMR는 가장 큰 가짜 레이블이 부여된 데이터셋(InstaVariety)에서 훈련했을 때 3DPW 데이터셋에서 MPJPE 116.5를 달성하여 기존 방법들을 능가한다.
• InstaVariety에서 훈련했을 경우, 더 작은 데이터셋에서 훈련한 경우 대비 3D 자세 오차가 9% 감소하고 2D 자세 정확도는 8% 향상된다.
• 영상 시퀀스에서 예측할 때 단일 시점 기반 모델 대비 가속도 오차를 56% 감소시킨다.
• 환영 모듈은 단일 이미지에서 타당한 3D 운동 예측을 가능하게 하며, Human3.6M에서 과거 예측의 PA-MPJPE는 65.0, 미래 예측은 65.3을 기록한다.
• NBA 및 Penn과 같은 2D 자세 데이터셋에서의 성능은 안정되거나 약간 향상되어 가짜 레이블이 부여된 데이터로부터의 일반화 이점을 보여준다.
• 모델는 자연 환경 설정에서도 잘 일반화되며, Human3.6M 및 MPII에서 미세조정된 TP-Net보다 3DPW에서 성능이 뛰어나지 않음에도 불구하고 뛰어난 성능을 보인다.