[논문 리뷰] Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes

Jiashun Wang, Huazhe Xu외 3명|arXiv (Cornell University)|2020. 12. 10.

Human Pose and Action Recognition참고 문헌 69인용 수 7

한 줄 요약

이 논문은 3D 장면 내에서 장기적인 3D 인간 운동을 합성하기 위해 계층적인 생성 프레임워크를 제안한다. 먼저 CVAE를 사용해 3D 장면의 맥락을 기반으로 하위 목표 자세를 예측하고, 이후 양방향 LSTM을 통해 단기 운동 시퀀스를 생성하며, 물리적 타당성과 인간-장면 상호작용을 보장하기 위해 명시적인 기하 최적화를 적용한다. 이 방법은 PROX 및 MP3D 데이터셋에서 운동의 자연스러움과 장면 준수 성능에서 최신 기술 수준을 달성한다.

ABSTRACT

Synthesizing 3D human motion plays an important role in many graphics applications as well as understanding human activity. While many efforts have been made on generating realistic and natural human motion, most approaches neglect the importance of modeling human-scene interactions and affordance. On the other hand, affordance reasoning (e.g., standing on the floor or sitting on the chair) has mainly been studied with static human pose and gestures, and it has rarely been addressed with human motion. In this paper, we propose to bridge human motion synthesis and scene affordance reasoning. We present a hierarchical generative framework to synthesize long-term 3D human motion conditioning on the 3D scene structure. Building on this framework, we further enforce multiple geometry constraints between the human mesh and scene point clouds via optimization to improve realistic synthesis. Our experiments show significant improvements over previous approaches on generating natural and physically plausible human motion in a scene.

연구 동기 및 목표

• 장기적인 3D 인간 운동 합성에서 인간-장면 상호작용과 가능성을 간과하는 격차를 해소하기 위해.
• 운동 합성과 장면의 가능성을 연결하기 위해 물리적 타당성과 접촉 제약 조건을 모델링하기 위해.
• 복잡한 3D 환경에서 자연스럽고 물리적으로 타당하며 다양한 장기적인 인간 운동 시퀀스를 생성하기 위해.
• 딥 러닝과 명시적인 기하 최적화의 조합을 통해 운동의 자연스러움을 향상시키기 위해.
• 3D 장면 내에서 시작/종료 위치와 하위 목표 자세를 조건으로 하여 제어 가능한 운동 합성 구현하기 위해.

제안 방법

• 두 단계로 구성된 계층적 프레임워크: 첫 번째 단계에서는 조건부 변동 자동차ncoder(CVAE)가 3D 장면 맥락을 기반으로 SMPL-X 매개변수를 사용해 하위 목표 자세를 예측한다.
• 두 번째 단계에서는 양방향 LSTM이 SMPL-X 표현과 3D 장면 입력을 사용해 하위 목표 간의 단기 운동 시퀀스를 생성한다.
• 이 프레임워크는 인간 신체를 정확히 표현할 수 있도록 가분성 있는 SMPL-X 모델을 사용하며, 장면 포인트 클라우드와의 정밀한 기하 제약 조건을 가능하게 한다.
• 운동의 물리적 타당성을 보장하기 위해 침투 최소화 및 장면 표면과의 접촉을 보장하는 최적화 기반의 정밀 조정 단계를 적용한다.
• 가분성 있는 최적화 과정을 통해 인간 메쉬와 장면 포인트 클라우드 간의 기하 제약 조건을 적용하여 운동의 자연스러움과 충돌 회피를 균형 있게 조절한다.
• 최종적으로 최적화된 단기 운동 시퀀스들을 이어붙여 장기적인 운동을 구성한다.

실험 결과

연구 질문

• RQ1 계층적인 딥 생성 모델이 복잡한 3D 장면에서 물리적 타당성을 유지하면서 효과적으로 장기적인 3D 인간 운동을 합성할 수 있는가?
• RQ2 장면의 가능성과 인간 신체 기하학을 함께 모델링하여 운동의 자연스러움과 상호작용을 향상시킬 수 있는가?
• RQ3 명시적인 기하 최적화가 학습된 운동 시퀀스의 물리적 타당성에 얼마나 기여하는가?
• RQ4 PROX에서 학습된 모델이 MP3D와 같은 새로운 3D 환경으로 일반화 가능한가?
• RQ5 정량적 및 정성적으로 최신 기술 수준의 운동 및 자세 생성 접근 방식과 비교했을 때 이 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 6초 분량의 운동 시퀀스에 대해 인간 평가 점수 3.65 ± 0.96을 기록하여 지표 성능(3.92 ± 0.91)에 근접한다.
• 최적화를 적용한 결과, 이웃 간 거리(v2v)가 8.25로 감소하여 다음으로 우수한 베이스라인(Route+CVAE: 21.78)를 크게 앞서며, 지표값(3.59)에 가까워졌다.
• PROX에서 접촉 및 충돌 회피 지표에서 최고 성능을 기록했으며, 각각 3.55 ± 0.88과 3.30 ± 0.96의 점수를 기록했다.
• 최적화 과정은 기존 성능을 크게 향상시켰으며, Route+CVAE의 경우 v2v 거리가 최적화 없이 10.59에서 최적화 시 8.25로 감소했고, HSNMS의 경우 10.84에서 7.31로 감소했다.
• 하위 목표의 신체 형태, 자세, 위치를 제어함으로써 다양한 운동 생성이 가능해졌으며, 동일한 시작-종료 경로에 대해서도 다양한 운동 시퀀스를 생성할 수 있었다.
• 모델은 MP3D 데이터셋으로도 잘 일반화되어 있으며, 랜덤으로 샘플된 시작/종료 설정 조건에서도 실제적이고 환경에 적응하는 운동 시퀀스를 생성했다.