[논문 리뷰] Long-term Human Motion Prediction with Scene Context

Zhe Cao, Hang Gao외 4명|arXiv (Cornell University)|2020. 07. 07.

Human Pose and Action Recognition참고 문헌 68인용 수 8

한 줄 요약

이 논문은 장기적인 3D 인간 운동 예측을 위한 삼단계 딥러닝 프레임워크를 제안한다. 이 프레임워크는 먼저 향후 운동 목표를 다수 샘플링하고, 그 목표로 향하는 3D 경로를 계획한 후, 최종적으로 3D 자세 시퀀스를 생성한다. 이 방법은 새로운 대규모 합성 데이터셋(청결한 3D 애노테이션을 갖춘)을 활용하여 환경 맥락을 고려함으로써, 합성 및 실재 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Human movement is goal-directed and influenced by the spatial layout of the objects in the scene. To plan future human motion, it is crucial to perceive the environment -- imagine how hard it is to navigate a new room with lights off. Existing works on predicting human motion do not pay attention to the scene context and thus struggle in long-term prediction. In this work, we propose a novel three-stage framework that exploits scene context to tackle this task. Given a single scene image and 2D pose histories, our method first samples multiple human motion goals, then plans 3D human paths towards each goal, and finally predicts 3D human pose sequences following each path. For stable training and rigorous evaluation, we contribute a diverse synthetic dataset with clean annotations. In both synthetic and real datasets, our method shows consistent quantitative and qualitative improvements over existing methods.

연구 동기 및 목표

• 기존 운동 예측 방법들이 환경 맥락을 忽시하여 장기적이고 전역적인 운동 예측에서 실패하는 한계를 해결하기 위해.
• 공간 레이아웃의 영향을 받는 목표 지향적 행동으로서 인간 운동을 모델링하여, 더 현실적이고 다양한 장기 예측을 가능하게 하기 위해.
• 명시적인 3D 환경 재구성 없이도 인간-환경 상호작용 데이터로부터 환경 제약 조건을 암묵적으로 학습하는 기반 학습 프레임워크를 개발하기 위해.
• 실제 세계 데이터에 대한 일반화 능력 향상과 훈련 안정성을 높이기 위해 고품질 3D 애노테이션을 갖춘 대규모 다각도 합성 데이터셋 기여하기 위해.

제안 방법

• 프레임워크는 먼저 이미지 공간 내에서 다수의 타당한 2D 도착 지점(목표)을 샘플링하는 목표 예측 네트워크를 사용한다.
• 그 후, 환경 기하학적 정보를 조건으로 삼아 현재 위치에서 각 예측된 목표로 향하는 3D 경로를 생성하는 3D 경로 계획 네트워크를 활용한다.
• 자세 생성 네트워크는 각 3D 경로를 따라 시간에 따라 일관성 있고 물리적으로 타당한 3D 인간 자세 시퀀스를 예측한다.
• 모델은 100만 개 이상의 고해상도 RGB-D 프레임을 포함한 합성 데이터셋을 사용하여 엔드 투 엔드로 훈련된다. 이 데이터셋은 GTA 게임 엔진에서 유래한 청결한 3D 애노테이션을 갖춘다.
• 목표의 확률적 샘플링을 통해 다중 모달 예측이 가능해져 장기 예측 시퀀스의 다양성과 현실성 향상이 가능하다.
• 합성 데이터셋에서의 사전 훈련은 실세계 벤치마크에서의 성능 향상에 기여하며, 데이터 효율성과 강인성을 입증한다.

실험 결과

연구 질문

• RQ1 환경 맥락을 고려함으로써 단기적 국소 운동 모델링을 넘어서 장기적인 3D 인간 운동 예측 성능을 크게 향상시킬 수 있는가?
• RQ2 2D 입력만을 사용하여 환경 맥락을 고려한 다중 모달 미래 운동 예측을 어떻게 생성할 수 있는가?
• RQ3 데이터 기반의 암묵적 학습 접근 방식이 명시적인 3D 경로 계획과 환경 기하 제약 조건을 얼마나 효과적으로 대체할 수 있는가?
• RQ4 청결한 3D 애노테이션을 갖춘 대규모 합성 데이터셋이 실세계 운동 예측의 일반화 능력과 훈련 안정성 향상에 기여하는가?
• RQ5 확률적 목표 샘플링이 결정론적 접근 방식에 비해 장기 예측의 다양성과 현실성 향상에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 합성 및 실재 데이터셋 모두에서 기존 방법보다 일관된 정량적 성능 향상을 달성했으며, 3D 자세 및 위치 측정 지표에서 예측 오차가 낮아졌다.
• 5개 샘플의 확률적 예측은 결정론적 기준 모델을 능가하며, 3초 예측 단계에서 오차 격차가 100 mm 이상으로 증가했다.
• 정성적 결과는 회전, U턴, 계단 올라가기, 앉기/일어나기 전환 등 다양한 현실적인 운동 시퀀스를 보여주며, 이는 모두 환경 레이아웃의 영향을 받음을 확인한다.
• 명시적인 3D 환경 재구성 없이도 주요 충돌을 피하는 타당한 3D 경로를 생성함으로써 효과적인 암묵적 환경 제약 조건 학습이 이루어졌음을 시사한다.
• 실패 케이스에서는 발이 침대 등에 약간 스치는 현상(예: 발이 침대를 통과하는 등)이 관찰되어, 다중 시점 입력 또는 명시적 기하 제약 조건 강화를 통해 향후 개선 가능성을 보여준다.
• 합성 데이터셋에서의 사전 훈련은 실재 데이터에 대한 제로샷 성능 향상에 크게 기여하여, 데이터가 부족한 상황에서 합성 데이터의 가치를 입증한다.