[논문 리뷰] IMos: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions

Anindita Ghosh, Rishabh Dabral외 3명|arXiv (Cornell University)|2022. 12. 14.

Human Pose and Action Recognition인용 수 4

한 줄 요약

IMoS는 자연어 지시에 기반하여 3D 물체와 상호작용하는 가상 캐릭터의 다양하고 전신 운동 시퀀스를 합성하기 위한 의도 기반 프레임워크를 제안한다. 손과 몸통을 별도로 모델링하는 조건부 변동성 자동재귀 모델을 사용하며, 6-DoF 물체 자세를 공동 최적화하여 자연스럽고 다양한 인간-물체 상호작용을 가능하게 하여 의도 기반 운동 합성 분야에서 최신 기준을 달성한다.

ABSTRACT

Can we make virtual characters in a scene interact with their surrounding objects through simple instructions? Is it possible to synthesize such motion plausibly with a diverse set of objects and instructions? Inspired by these questions, we present the first framework to synthesize the full-body motion of virtual human characters performing specified actions with 3D objects placed within their reach. Our system takes textual instructions specifying the objects and the associated intentions of the virtual characters as input and outputs diverse sequences of full-body motions. This contrasts existing works, where full-body action synthesis methods generally do not consider object interactions, and human-object interaction methods focus mainly on synthesizing hand or finger movements for grasping objects. We accomplish our objective by designing an intent-driven fullbody motion generator, which uses a pair of decoupled conditional variational auto-regressors to learn the motion of the body parts in an autoregressive manner. We also optimize the 6-DoF pose of the objects such that they plausibly fit within the hands of the synthesized characters. We compare our proposed method with the existing methods of motion synthesis and establish a new and stronger state-of-the-art for the task of intent-driven motion synthesis.

연구 동기 및 목표

• 자연어 지시에 기반하여 3D 물체와 특정 동작을 수행하는 가상 캐릭터의 다양하고 전신 운동 시퀀스를 합성하는 것.
• 기존 방법이 손 또는 손가락 움직임에만 집중하거나 인간-물체 상호작용에서 전신 조율을 모델링하지 못하는 격차를 메우는 것.
• 머리, 몸통, 팔, 손 움직임이 조율된 물리적으로 일관된 운동을 생성하여 머리 방향에 대한 명시적 지시 없이도 자연스러운 운동을 만드는 것.
• 운동 시퀀스 동안 정확하고 안정적인 쥔 장치를 확보하기 위해 실시간으로 6-DoF 물체 자세를 최적화하는 것.
• 통합 생성 프레임워크 내에서 단일손 및 이중손 상호작용, 특히 물체를 손에서 손으로 넘기는 전환 동작을 지원하는 것.

제안 방법

• 정밀도 향상을 위해 운동 생성을 별도의 잠재 공간에서 수행하기 위해 손과 나머지 몸통에 대해 각각 별도의 조건부 변동성 자동재귀 모델을 사용한다.
• CLIP 기반의 조건 인코더가 텍스트 지시(의도 및 물체 유형)를 인코딩하여 자동재귀 운동 생성 과정을 조절한다.
• 잠재 공간에서의 다양성 샘플링을 가능하게 하기 위해 과거 짧은 운동 기록에서 미래의 몸체 자세를 생성하기 위해 자동재귀적이고 변동성 추론 기반 접근법을 사용한다.
• 물체의 6-DoF 자세를 공동 최적화하여 쥔 장치 조건을 충족시키고 물리적 타당성과 접촉 정확도를 보장하는 물체 최적화 모듈을 사용한다.
• 스위칭 프레임을 감지하고 손 파arameter를 전달함으로써 정적 쥔 장치와 동적 전환(예: 물체를 손에서 손으로 넘기는 것)을 모두 지원한다.
• 모델은 GRAB 데이터셋에서 훈련되며, 희박 마커 기반 운동 캡처를 활용하고, 물체-손 접촉 정밀도 향상과 상호 침투 감소를 위한 후처리를 수행한다.

실험 결과

연구 질문

• RQ1 단일 프레임워크가 자연어 지시만으로 다양하고 전신 운동 시퀀스를 인간-물체 상호작용에 대해 생성할 수 있는가?
• RQ2 손과 몸통 운동 모델링을 분리함으로써 통합 모델링 대비 합성 상호작용의 품질과 정밀도가 향상되는가?
• RQ3 머리 방향에 대한 명시적 지시 없이도 모델이 시각적으로 자연스러운 머리 자세와 조율된 손-머리 운동을 학습할 수 있는가?
• RQ4 6-DoF 물체 자세 최적화가 운동 시퀀스 동안 안정적이고 접촉 일관성이 있는 쥔 장치를 달성하는 데 얼마나 효과적인가?
• RQ5 이 프레임워크는 회전하거나 뻣뻣하게 펴는 등의 고주파 수동 운동이 포함된 복잡한 상호작용, 예를 들어 손에서 손으로 물체를 넘기는 동작 등에도 일반화 가능한가?

주요 결과

• 제안된 방법은 정량적 평가와 주관적 평가 모두에서 기존 방법을 능가하며 의도 기반 전신 운동 합성 분야에서 새로운 최고 기준을 달성한다.
• 손과 몸통의 분리된 자동재귀 모델링은 특히 정교한 손과 팔 조율에 있어 측정 가능한 주관적 향상을 이끌어낸다.
• 동일한 지시어에서 변동성 잠재 공간에서 샘플링을 통해 다양한 운동 시퀀스를 생성함으로써 강력한 일반화 능력과 표현력이 입증된다.
• 명시적 지시 없이도 모델이 시각적으로 자연스러운 머리 자세와 조율된 손-머리 운동을 학습함을 보여주며, 이러한 조율이 종단 간 훈련에서 자동으로 유도될 수 있음을 시사한다.
• 물체 최적화 모듈은 상호 침투를 줄이고 접촉 정확도를 향상시키는 데 성공했지만, 물체를 돌리거나 뻣뻣하게 펴는 등의 동적 쥔 장치에서는 여전히 도전 과제가 남아 있다.
• "압박"이나 "흔들기"와 같은 드문 고주파 동작에서는 실패 케이스가 발생하여 빠른 손목 운동을 포괄하지 못하는 한계가 드러난다.