[논문 리뷰] 4D Human Body Capture from Egocentric Video via 3D Scene Grounding

Miao Liu, Dexin Yang외 4명|arXiv (Cornell University)|2020. 11. 26.

Human Pose and Action Recognition참고 문헌 64인용 수 8

한 줄 요약

이 논문은 구조-에서-운동(SfM)을 통해 확보한 2D 자세 관측치와 3D 환경 구조를 활용하여 단일 시각적 시점 영상에서 제2인칭 인간 신체 메쉬의 4차원 재구성을 위한 최적화 기반 방법을 제안한다. 이는 3D 신체 모델과 환경 모델 간의 척도 모순을 해결하여 부분적 가림 상태에서도 정확하고 시간적으로 일관되며 물리적으로 타당한 인간-환경 상호작용을 가능하게 하며, 새로운 EgoMoCap 데이터셋에서 자세 정확도와 상호작용의 현실성 면에서 최신 기술을 능가한다.

ABSTRACT

We introduce a novel task of reconstructing a time series of second-person 3D human body meshes from monocular egocentric videos. The unique viewpoint and rapid embodied camera motion of egocentric videos raise additional technical barriers for human body capture. To address those challenges, we propose a simple yet effective optimization-based approach that leverages 2D observations of the entire video sequence and human-scene interaction constraint to estimate second-person human poses, shapes, and global motion that are grounded on the 3D environment captured from the egocentric view. We conduct detailed ablation studies to validate our design choice. Moreover, we compare our method with the previous state-of-the-art method on human motion capture from monocular video, and show that our method estimates more accurate human-body poses and shapes under the challenging egocentric setting. In addition, we demonstrate that our approach produces more realistic human-scene interaction.

연구 동기 및 목표

• 카메라의 움직임과 부분적 가림으로 인해 기존 방법이 어려움을 겪는 단일 시각적 시점 영상에서 제2인칭 인간 신체 메쉬의 4차원 재구성을 해결하기 위해.
• SfM로부터 확보한 2D 자세 관측치와 3D 환경 구조를 통합하여 시간적으로 일관되고 환경에 기반한 3D 인간 신체 재구성을 가능하게 하기 위해.
• 이전 방법이 해결하지 못한 단일 시각적 시점 환경에서 3D 인간 신체 모델과 환경 재구성 간의 척도 모순을 해결하기 위해.
• 특히 부분적 가림 상황에서 어려운 시각적 시점 조건에서도 자세와 형태 추정의 정확도와 현실성을 향상시키기 위해.
• 다양한 상호작용 거리와 2D 관절 키포인트 애너테이션을 포함한 구조화된 시각적 시점 영상 벤치마크인 EgoMoCap 데이터셋을 제안하기 위해.

제안 방법

• 이 방법은 전체 영상 시퀀스의 2D 관절 키포인트 관측치와 SfM를 통해 재구성된 3D 환경 기하학을 통합하는 시간에 따른 동시 최적화를 수립한다.
• 재구성된 3D 신체와 3D 환경 간의 물리적으로 타당한 상호작용을 보장하기 위해 인간-환경 접촉 제약 조건을 적용한다.
• 단일 시각적 SfM에서 내재된 척도 모순을 극복하기 위해 3D 인간 신체 모델과 SfM로 재구성된 환경 간의 상대적 척도를 동시에 추정한다.
• 신체 부위가 간헐적으로 가려질 경우에도 전역 운동 추정을 안정화하기 위해 시간적 사전 지식(영속 가속도 0)을 통합한다.
• 이 방법은 SMPL-X를 3D 신체 모델로 사용하며, 미분 가능 렌더링과 투영 손실을 활용해 자세, 형태, 전역 운동 파라미터를 최적화한다.
• 프레임 단위 추정이 부분적 가림 상황에서 실패하는 것을 방지하기 위해 전체 영상 시퀀스를 활용해 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 시각적 SfM에서 확보한 3D 환경 구조는 부분적 가림이 있는 시각적 시점 영상에서 제2인칭 4차원 신체 재구성에 도움이 되는가?
• RQ2 단일 시각적 시점 환경에서 3D 인간 신체와 환경 재구성 간의 척도 모순은 어떻게 해결할 수 있는가?
• RQ3 2D 관측치와 3D 환경 기하학을 활용한 시간에 따른 동시 최적화는 단일 프레임 기반 방법보다 더 시간적으로 일관되고 현실적인 인간 운동을 가능하게 하는가?
• RQ4 어려운 시각적 시점 조건에서 VIBE와 같은 최신 기술 대비 자세 정확도와 인간-환경 상호작용의 현실성 면에서 본 방법은 어떻게 비교되는가?
• RQ5 제2인칭이 부분적으로만 관찰될 때 3D 환경 기반 정보의 사용이 전역 운동 추정에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 EgoMoCap 데이터셋에서 66.03 PJE-P 점수를 기록하여 VIBE(75.91)를 크게 앞서며, 부분 관찰 조건에서도 뛰어난 성능을 보였다.
• 운동 매끄러움 오차는 1.85로 VIBE의 4.79에 비해 감소하여 더 일관되고 현실적인 전역 운동 추정을 의미한다.
• 사용자 연구 결과, 제안된 방법이 베이스라인 대비 82.8%의 선호도를 확보하여 인간-환경 상호작용의 현실성 향상을 확인했다.
• 3D 인간 신체와 환경 간의 상대적 척도를 성공적으로 해결하여 SMPLify-X 기준 결과에서 관찰된 척도 불일치 문제를 제거했다.
• 제거 실험 결과 3D 환경 구조와 시간 최적화의 효과가 입증되었으며, 특히 부분적 가림 상황에서의 성능 향상에 기여했다.
• VIBE는 접촉을 모델링하지 못하고 시각적 시점 카메라의 움직임으로 인해 일관되지 않은 운동을 유도하는 반면, 본 방법은 더 현실적인 인간-환경 상호작용을 생성한다.