[论文解读] IMos: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions

Anindita Ghosh, Rishabh Dabral+3 more|arXiv (Cornell University)|Dec 14, 2022

Human Pose and Action Recognition被引用 4

一句话总结

IMoS 提出了一种新颖的意图驱动框架，基于自然语言指令生成虚拟角色与3D物体交互的多样化、完整身体运动序列。该框架采用解耦的条件变分自回归模型分别建模手臂和身体，联合优化6-DoF物体位姿，以实现合理且多样的人机交互，实现了意图驱动运动生成的最先进性能。

ABSTRACT

Can we make virtual characters in a scene interact with their surrounding objects through simple instructions? Is it possible to synthesize such motion plausibly with a diverse set of objects and instructions? Inspired by these questions, we present the first framework to synthesize the full-body motion of virtual human characters performing specified actions with 3D objects placed within their reach. Our system takes textual instructions specifying the objects and the associated intentions of the virtual characters as input and outputs diverse sequences of full-body motions. This contrasts existing works, where full-body action synthesis methods generally do not consider object interactions, and human-object interaction methods focus mainly on synthesizing hand or finger movements for grasping objects. We accomplish our objective by designing an intent-driven fullbody motion generator, which uses a pair of decoupled conditional variational auto-regressors to learn the motion of the body parts in an autoregressive manner. We also optimize the 6-DoF pose of the objects such that they plausibly fit within the hands of the synthesized characters. We compare our proposed method with the existing methods of motion synthesis and establish a new and stronger state-of-the-art for the task of intent-driven motion synthesis.

研究动机与目标

• 基于自然语言指令，实现虚拟角色与3D物体交互的多样化完整身体运动序列生成。
• 解决现有方法仅关注手部或手指运动，或未能建模人机交互中完整身体协调性的缺陷。
• 生成包含协调头部、躯干、手臂和手部运动的合理、物理一致的运动，且无需头部朝向的显式监督。
• 实时联合优化6-DoF物体位姿，以确保运动序列中抓握的准确性和稳定性。
• 在统一的生成框架中支持单手和双手交互，包括离手过渡。

提出的方法

• 该方法采用一对解耦的条件变分自回归模型——一个用于手臂，一个用于身体其余部分——在独立的潜在空间中建模运动生成，以提升精度。
• 基于CLIP的条件编码器将文本指令（意图和物体类型）编码，用于条件化自回归运动生成过程。
• 模型采用基于自回归和变分推理的方法，从短历史序列生成未来身体位姿，从而实现在潜在空间中多样化运动采样。
• 物体优化模块联合优化物体的6-DoF位姿，以满足抓握约束，确保物理合理性与接触保真度。
• 该框架通过检测切换帧并转移手部参数，支持静态抓握和动态过渡（如离手），实现统一建模。
• 模型在GRAB数据集上进行训练，采用稀疏标记点运动捕捉数据，并通过后处理优化物体-手部接触并减少相互穿透。

实验结果

研究问题

• RQ1 单一框架能否仅基于自然语言指令生成多样化、完整身体的人机交互运动序列？
• RQ2 与联合建模相比，解耦手臂与身体运动建模是否能提升合成交互的质量与精度？
• RQ3 模型能否在无头部朝向显式监督的情况下生成合理的头部与躯干协调运动？
• RQ4 6-DoF物体位姿优化在实现运动序列中稳定且接触一致的抓握方面效果如何？
• RQ5 该框架能否泛化至复杂交互（如离手与动态抓握），包括高频手腕运动？

主要发现

• 所提方法在意图驱动的完整身体运动生成任务中达到新的最先进水平，在定量指标与感知评估中均优于现有方法。
• 解耦的自回归建模在手臂与身体运动方面带来可测量的感知质量提升，尤其在精细的手臂与手部协调方面表现突出。
• 通过从变分潜在空间采样，模型能从同一指令生成多样化运动序列，展现出强大的泛化能力与表达能力。
• 尽管无显式监督，模型仍能学习到视觉上合理的头部朝向与协调的手-头运动，表明此类协调可通过端到端训练自然涌现。
• 物体优化模块有效减少了相互穿透并提升了接触精度，但在旋转或拉伸物体等动态抓握任务中仍存在挑战。
• 对于罕见、高频动作（如“挤压”或“摇晃”）的失败案例表明，模型在捕捉快速手腕运动方面仍存在局限。