[논문 리뷰] Contact-aware Human Motion Forecasting

Wei Mao, Miaomiao Liu외 2명|arXiv (Cornell University)|2022. 10. 08.

Human Pose and Action Recognition인용 수 7

한 줄 요약

이 논문은 3D 인간 운동 예측을 위한 접촉 인지 두 단계 프레임워크를 제안하며, 각 관절별 거리 기반 접촉 맵을 통해 인간-장면 상호작용을 명시적으로 모델링한다. 향후 접촉 맵을 예측하고 자세 예측을 그것에 조건화함으로써, 합성 및 실재 데이터셋에서 모두 '유령 운동'과 같은 아티팩트를 제거하면서 운동 정확도와 현실성에 크게 기여한다. 이는 3D 경로 및 자세 예측에서 최신 기술을 능가한다.

ABSTRACT

In this paper, we tackle the task of scene-aware 3D human motion forecasting, which consists of predicting future human poses given a 3D scene and a past human motion. A key challenge of this task is to ensure consistency between the human and the scene, accounting for human-scene interactions. Previous attempts to do so model such interactions only implicitly, and thus tend to produce artifacts such as "ghost motion" because of the lack of explicit constraints between the local poses and the global motion. Here, by contrast, we propose to explicitly model the human-scene contacts. To this end, we introduce distance-based contact maps that capture the contact relationships between every joint and every 3D scene point at each time instant. We then develop a two-stage pipeline that first predicts the future contact maps from the past ones and the scene point cloud, and then forecasts the future human poses by conditioning them on the predicted contact maps. During training, we explicitly encourage consistency between the global motion and the local poses via a prior defined using the contact maps and future poses. Our approach outperforms the state-of-the-art human motion forecasting and human synthesis methods on both synthetic and real datasets. Our code is available at https://github.com/wei-mao-2019/ContAwareMotionPred.

연구 동기 및 목표

• 장면 인지 3D 인간 운동 예측에서 전역 운동과 국소 자세 간의 명시적 제약의 부족을 해결하기 위해.
• 인간-장면 상호작용의 암묵적 모델링으로 인한 '유령 운동'과 같은 아티팩트를 제거하기 위해.
• 명시적인 접촉 관계 모델링을 통해 인간 운동과 장면 맥락 간의 일관성을 향상시키기 위해.
• 먼저 향후 접촉 맵을 예측하고, 그에 조건화된 자세 예측을 수행하는 두 단계 파ipeline을 개발하기 위해.
• 복잡한 3D 환경에서 더 정확하고 현실적인 인간 운동 예측을 달성하기 위해.

제안 방법

• 각 시간 단계에서 각 인간 관절이 모든 3D 장면 점까지의 거리를 인코딩하는 각 관절별 접촉 맵을 도입한다.
• 이전 작업의 인간 운동 모델링과 유사하게, DCT 기반의 시간 인코딩 전략을 사용하여 역사적 접촉 맵을 모델링한다.
• 장면 포인트 클라우드, 과거 운동, 역사적 접촉 맵에서 향후 접촉 맵을 예측하기 위해 3D 장면 인코딩 네트워크(PVCNN)를 활용한다.
• 운동 예측을 위해 예측된 접촉 맵에서 각 관절당 가장 가까운 접촉 점을 유지하고, 전역 이동과 국소 자세 예측을 이들 점에 조건화한다.
• 학습 중 예측된 자세와 접촉 점을 사용하여 학습된 사전을 통해 전역 운동과 국소 자세 간의 일관성을 강제한다.
• 아티팩트를 줄이기 위해 접촉 맵 일관성과 운동 현실성에 명시적 지도를 제공하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 인간-장면 접촉 관계의 명시적 모델링이 3D 인간 운동 예측의 현실성과 정확도를 향상시킬 수 있는가?
• RQ2 향후 접촉 맵을 예측하는 것이 국소 자세 변화와 전역 운동 간의 일관성을 어떻게 향상시키는가?
• RQ3 암묵적 모델링 방법에 비해 접촉 인지 운동 예측이 '유령 운동'과 같은 아티팩트를 어느 정도 감소시키는가?
• RQ4 접촉 맵 예측 후 접촉 조건 자세 예측을 수행하는 두 단계 파이프라인은 종단 간 기반 모델 대비 성능을 어떻게 향상시키는가?
• RQ5 실제 접촉 맵 대비 예측된 접촉 맵을 사용할 경우 운동 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 3D 경로 및 자세 정확도 측면에서 합성(GTA-IM) 및 실재(PROX) 데이터셋 모두에서 최신 기술의 운동 예측 및 합성 방법을 능가한다.
• GTA-IM에서, 실제 접촉 맵을 사용한 것과 비교해 평균 경로 오차를 최대 104mm 감소시켜 예측된 접촉 맵의 효과성을 입증한다.
• 절단 분석 결과, 접촉 맵을 제거할 경우 평균 경로 오차가 최대 10mm 증가하고 평균 자세 오차가 최대 7mm 증가함으로써 그 핵심적 역할를 확인한다.
• 정성적 결과에서는 걷기, 앉기 등 다양한 운동에 대해 모델이 정확하게 접촉 맵을 예측함을 보여주며, 벽에 팔꿈치를 대는 복잡한 상호작용까지 포함한다.
• DMGNN 및 SLT와 같은 기준 모델들은 '유령 운동'이나 가구를 뚫고 가는 비현실적인 운동을 생성하지만, 제안된 방법은 이러한 아티팩트를 피한다.
• 실제 접촉 맵 사용은 성능을 더욱 향상시키며, 특히 경로 정확도에서 두드러진다. 이는 향후 향상의 핵심 과제로 예측된 접촉 맵 품질이 되어야 함을 시사한다.