[논문 리뷰] Temporally Coherent Full 3D Mesh Human Pose Recovery from Monocular Video

Jian Liu, Naveed Akhtar외 1명|arXiv (Cornell University)|2019. 06. 01.

Human Pose and Action Recognition참고 문헌 48인용 수 6

한 줄 요약

이 논문은 단일 영상에서 시간적으로 일관된 전체 3D 메시 인간 자세 복원을 위한 새로운 엔드 투 엔드 순환 신경망 MVIPER를 제안한다. 물리 기반의 데이터 합성 파이pline을 도입하여 역동적인 옷 주름 변화를 포함한 현실적이고 다양한 단일 영상 액션 데이터와 풍부한 3D 메시 애너테이션을 생성함으로써, 프레임 기반 기준선 대비 뛰어난 시간적 일관성과 기하학적 정확도를 달성하여 떨림을 크게 줄이고, 가림이나 복잡한 자세에서도 복원 성능을 향상시킨다.

ABSTRACT

Advances in Deep Learning have recently made it possible to recover full 3D meshes of human poses from individual images. However, extension of this notion to videos for recovering temporally coherent poses still remains unexplored. A major challenge in this regard is the lack of appropriately annotated video data for learning the desired deep models. Existing human pose datasets only provide 2D or 3D skeleton joint annotations, whereas the datasets are also recorded in constrained environments. We first contribute a technique to synthesize monocular action videos with rich 3D annotations that are suitable for learning computational models for full mesh 3D human pose recovery. Compared to the existing methods which simply "texture-map" clothes onto the 3D human pose models, our approach incorporates Physics based realistic cloth deformations with the human body movements. The generated videos cover a large variety of human actions, poses, and visual appearances, whereas the annotations record accurate human pose dynamics and human body surface information. Our second major contribution is an end-to-end trainable Recurrent Neural Network for full pose mesh recovery from monocular video. Using the proposed video data and LSTM based recurrent structure, our network explicitly learns to model the temporal coherence in videos and imposes geometric consistency over the recovered meshes. We establish the effectiveness of the proposed model with quantitative and qualitative analysis using the proposed and benchmark datasets.

연구 동기 및 목표

• 전체 3D 메시 인간 자세 복원을 위한 대규모, 현실적이고 완전히 애너테이션 처리된 단일 영상 데이터셋의 부족을 해결하기 위해.
• 시간적 맥락을 활용하여 단일 시야 영상에서 시간적으로 일관된 3D 인간 메시를 복원할 수 있는 딥 러닝 모델을 개발하기 위해.
• 프레임 기반 3D 자세 추정 방법에 비해 메시 시퀀스의 기하학적 일관성을 향상시키고 시간적 떨림을 감소시키기 위해.
• 실제 옷의 역동적 움직임을 갖는 비디오 기반 동작 전이와 같은 새로운 응용을 가능하게 하기 위해.
• 관절 기반 메트릭을 넘어서 메시 수준의 자세 복원에 특화된 새로운 평가 지표를 도입하기 위해.

제안 방법

• 물리 기반 애니메이션 파이프라인은 다양한 자세, 조명, 시점, 배경을 포함한 현실적인 체형-옷 상호작용을 갖는 단일 영상 생성한다.
• 데이터셋에는 밀도 높은 3D 애너테이션 포함: 신체 형태, 3D 골격, 2D 투영, 전체 메시 정점 시퀀스.
• 시퀀스 기반으로 영상 프레임을 처리하는 주의 메커니즘을 갖춘 엔드 투 엔드 학습 가능한 RNN이 스페아오토르 temporal 동역학을 모델링한다.
• 네트워크는 시퀀스 기반의 순환 아키텍처를 사용하며, 저수준 시각적 특징을 프레임 간에 주의 집중하는 맥락 조건 블록을 포함한다.
• 학습 중에 연속된 메시 프레임 간 기하학적 일관성을 강제하기 위해 신체 형태 매끄러움 손실이 도입된다.
• 모델은 제안된 합성 데이터셋과 일반화를 위해 Human3.6M 및 UCF101 등의 벤치마크 데이터셋 모두에서 학습된다.

실험 결과

연구 질문

• RQ1 합성 영상 데이터에서 옷 역학을 물리 기반으로 시뮬레이션하면 3D 메시 자세 복원 모델의 현실감과 일반화 능력이 향상되는가?
• RQ2 주목적 기반 순환 신경망이 단일 영상 시퀀스에서 시간적 일관성과 기하학적 일관성을 효과적으로 학습할 수 있는가?
• RQ3 제안된 방법이 가림이나 복잡한 운동을 다룰 때, 프레임 기반 3D 메시 복원 방법보다 우수한 성능을 보이는가?
• RQ4 자세 보간을 포함한 다양한 합성 영상 데이터에서 학습하면 드문 또는 알려지지 않은 자세에 대한 강건성이 얼마나 향상되는가?
• RQ5 기존의 관절 기반 메트릭을 넘어서 메시 수준 평가 지표는 전체 메시 복원 성능 평가에서 어떤가?

주요 결과

• HMR와 같은 프레임 기반 방법에 비해 제안된 방법은 복원된 메시 시퀀스에서 시간적 떨림이 크게 감소하고 기하학적 일관성이 향상됨을 입증했다.
• Human3.6M 및 UCF101에서의 정성적 비교에서, HMR가 시간적 맥락을 누락하여 뒤로 숨은 왼팔 등 가림된 사지의 복원에 실패하는 상황에서도 본 방법은 성공적으로 복원하였다.
• UCF101의 '실생활' 영상에 대해 모델은 다양한 훈련 데이터와 자세 보간 덕분에 드문 자세(예: 손으로 서기)를 정확히 복원하여 우수한 일반화 능력을 보였다.
• 훈련 데이터에서의 물리 기반 옷 시뮬레이션은 현실감을 향상시키고 동적 옷 주름 변화에 대한 성능 향상에 기여했다.
• 정점 기반 오차 메트릭 도입으로 관절 기반 메트릭보다 메시 수준의 복원 정밀도를 더 정확하게 평가할 수 있었다.
• 운동 전이 실험을 통해 실제 인간의 운동을 새로운 옷과 배경을 가진 가상의 애니메이션 캐릭터로 고해상도로 전이할 수 있었으며, 이는 본 방법의 실용적 유용성을 검증한다.