[논문 리뷰] Learning Motion Priors for 4D Human Body Capture in 3D Scenes

Siwei Zhang, Yan Zhang외 3명|arXiv (Cornell University)|2021. 08. 23.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 복잡한 3D 환경에서 단일 RGB(D) 영상으로부터 4D 인간 신체 캡처를 향상시키기 위해 AMASS 데이터셋에서 운동 사전을 학습하는 LEMO라는 방법을 제안한다. 각각의 인스턴스에 대해 자기지도 학습을 통해 훈련된 데이터 기반 운동 부드러움 사전와 접촉 인식 운동 보완기의 조합을 통해 LEMO는 진동과 발 스케이팅 잡음 문제를 줄이며, 이전 방법들보다 더 매끄럽고 자연스럽고, 음영 처리된 부분에 강건한 운동 재구성을 달성한다.

ABSTRACT

Recovering high-quality 3D human motion in complex scenes from monocular videos is important for many applications, ranging from AR/VR to robotics. However, capturing realistic human-scene interactions, while dealing with occlusions and partial views, is challenging; current approaches are still far from achieving compelling results. We address this problem by proposing LEMO: LEarning human MOtion priors for 4D human body capture. By leveraging the large-scale motion capture dataset AMASS, we introduce a novel motion smoothness prior, which strongly reduces the jitters exhibited by poses recovered over a sequence. Furthermore, to handle contacts and occlusions occurring frequently in body-scene interactions, we design a contact friction term and a contact-aware motion infiller obtained via per-instance self-supervised training. To prove the effectiveness of the proposed motion priors, we combine them into a novel pipeline for 4D human body capture in 3D scenes. With our pipeline, we demonstrate high-quality 4D human body capture, reconstructing smooth motions and physically plausible body-scene interactions. The code and data are available at https://sanweiliti.github.io/LEMO/LEMO.html.

연구 동기 및 목표

• 복잡한 3D 환경에서 부분적인 시야와 음영으로 인해 재구성 품질이 떨어지는 단일 RGB(D) 영상에서 고품질의 자연스러운 인간 운동을 재구성하는 문제를 해결하기 위해.
• PROX와 같은 기존 단일 영상 캡처 파이프라인에서 흔히 발생하는 운동 진동과 발 스케이팅 잡음 문제를 줄이기 위해.
• 전체 신체 운동과 접촉 역학을 함께 모델링하여 4D 재구성에서 인간-환경 상호작용의 현실성과 물리적 타당성을 향상시키기 위해.
• 부분 관측이 있는 특정 테스트 인스턴스에 맞게 일반적인 운동 보완기를 적응시키기 위한 자기지도 학습 기반의 인스턴스별 미세조정 전략을 개발하기 위해.
• 데이터 기반 사전을 사용하여 단일 RGB(D) 캡처와 고성능 마커 기반 운동 캡처 시스템 간의 성능 격차를 좁히기 위해.

제안 방법

• 전체 컨volution 오토에인코더가 넓은 시공간 수신 영역을 갖는 잠재 공간에서 전체 신체 역학을 포괄적으로 캡처하는 운동 부드러움 사전를 학습한다.
• 관절이 아닌 표면 마커를 사용하여 신체 운동을 표현함으로써 사지의 회전과 자유도를 더 잘 모델링할 수 있다.
• AMASS에서 훈련된 접촉 인식 운동 보완기는 신체 운동과 발-지면 접촉 상태를 동시에 예측하여 발 스케이팅 잡음 문제를 줄인다.
• 가시 부위만을 고려한 손실를 최소화하는 방식으로, 사전 훈련된 보완기를 테스트 시퀀스에 맞게 인스턴스별 자기지도 학습 기반으로 미세조정한다.
• 물리 기반의 접촉 마찰 항목을 통합하여 발-지면 상호작용을 추가로 정규화하고 물리적 타당성을 향상시킨다.
• 운동 사전, 접촉 모델링, SMPL-X 피팅을 통합한 다단계 최적화 파이프라인을 통해 매끄럽고 정확하며 음영 처리에 강건한 4D 인간 운동을 재구성한다.

실험 결과

연구 질문

• RQ1 대규모 모션 캡처 데이터에서 학습된 데이터 기반 운동 부드러움 사전가 단일 4D 인간 운동 재구성에서 진동을 크게 줄이고 시간적 일관성을 향상시킬 수 있는가?
• RQ2 AMASS에서 훈련된 접촉 인식 운동 보완기가 음영 처리된 신체 부위를 효과적으로 재구성하면서도 자연스러운 발-지면 상호작용을 유지하고 스케이팅 잡음을 줄일 수 있는가?
• RQ3 운동 보완기의 인스턴스별 자기지도 학습 기반 미세조정이 고정된 사전보다 부분 관측이 있는 개별 테스트 시퀀스에 더 잘 적응하는가?
• RQ4 운동 사전와 접촉 모델링의 통합이 복잡한 3D 환경에서 인간-환경 상호작용의 현실성과 물리적 타당성을 어떻게 향상시키는가?
• RQ5 제안된 파이프라인이 마커 기반 캡처 시스템 수준의 운동 재구성 품질을 단일 RGB(D) 입력만으로 달성할 수 있는가?

주요 결과

• 제안된 운동 부드러움 사전는 PROX와 3DPW 데이터셋 모두에서 운동 진동을 줄이고 재구성 품질을 향상시켰으며, MPJPE, MPMPE, PVE 지표에서 측정 가능한 향상이 있었다.
• 접촉 인식 운동 보완기는 히우리스틱 접촉 규칙보다 우수했으며, 발 스케이팅 비율을 낮추고 음영 처리된 부위의 재구성 오차(MPJPE-L 및 MPMPE-L)를 낮췄다.
• 자기지도 학습 기반의 인스턴스별 미세조정은 전체 신체 및 음영 처리된 신체 지표에서 일관되게 성능을 향상시켜 개별 테스트 인스턴스에 대한 효과적인 적응을 보여주었다.
• 파이프라인에 통합된 후, 보완기는 기준 방법들보다 PROX 데이터셋에서 2D 관절 정확도를 향상시키고 PSKL 및 비충돌 스코어를 감소시켰다.
• 단계 순서를 바꿔본 결과, 보완기를 진동이 있는 PROX 출력에 적용할 경우 실패함을 확인하여, 보완 이전에 운동 부드러움 처리가 필수적임을 입증했다.
• 절단 실험 결과, 접촉 인식 보완기와 자기지도 학습 기반 미세조정이 모두 핵심 요소임을 확인하였으며, 둘 중 하나라도 제거되면 성능이 떨어졌다.