[论文解读] InsActor: Instruction-driven Physics-based Characters

Jiawei Ren, Mingyuan Zhang+4 more|arXiv (Cornell University)|Dec 28, 2023

Human Motion and Animation被引用 4

一句话总结

InsActor 是一种基于层次扩散的框架，通过结合语言条件运动规划与学习到的低层次技能，生成物理上合理、由指令驱动的物理角色动画。它通过将高层指令映射到确保物理可行性与运动连贯性的潜在技能序列，在指令遵循和路径点导航任务中实现了最先进性能，复杂任务的成功率达到 90.7%。

ABSTRACT

Generating animation of physics-based characters with intuitive control has long been a desirable task with numerous applications. However, generating physically simulated animations that reflect high-level human instructions remains a difficult problem due to the complexity of physical environments and the richness of human language. In this paper, we present InsActor, a principled generative framework that leverages recent advancements in diffusion-based human motion models to produce instruction-driven animations of physics-based characters. Our framework empowers InsActor to capture complex relationships between high-level human instructions and character motions by employing diffusion policies for flexibly conditioned motion planning. To overcome invalid states and infeasible state transitions in planned motions, InsActor discovers low-level skills and maps plans to latent skill sequences in a compact latent space. Extensive experiments demonstrate that InsActor achieves state-of-the-art results on various tasks, including instruction-driven motion generation and instruction-driven waypoint heading. Notably, the ability of InsActor to generate physically simulated animations using high-level human instructions makes it a valuable tool, particularly in executing long-horizon tasks with a rich set of instructions.

研究动机与目标

• 实现由高层人类指令控制的物理模拟角色动画，这些指令在自然语言中复杂且多样化。
• 解决在动态环境中生成既与指令语义一致又物理可行的运动规划的挑战。
• 克服直接扩散策略输出的局限性，这些输出在物理模拟中可能产生不可行或不稳定的态转移。
• 开发一种可扩展、灵活的框架，支持长时程任务和无需任务特定微调的交互条件（如路径点）。
• 为语言条件化、基于物理的角色动画建立新基线，提升鲁棒性与泛化能力。

提出的方法

• 使用扩散策略生成基于自然语言指令的高层运动规划，实现灵活的推理时条件控制。
• 采用无监督技能发现模块，结合编码器-解码器架构，将关节空间轨迹映射到紧凑的潜在技能空间。
• 将高层策略产生的不可行或不稳定的态转移编码为潜在技能向量，以确保物理合理性。
• 使用与逆动力学兼容的策略，将学习到的技能嵌入解码为可执行动作。
• 支持历史运动的自回归条件控制，实现交互式、多路径点导航任务。
• 引入可学习的权重因子 λ，以平衡技能空间紧凑性与指令-运动对齐程度。

实验结果

研究问题

• RQ1 基于扩散的策略能否从自然语言指令生成既语义一致又物理可行的高层运动规划？
• RQ2 如何纠正高层策略产生的不可行态转移，以确保在模拟中实现稳定且物理合理的执行？
• RQ3 将高层规划与低层技能执行进行分层分解，在指令驱动动画中在多大程度上提升了运动质量和任务成功率？
• RQ4 该框架是否能在无需微调的情况下泛化到长时程任务和交互条件（如多个路径点）？
• RQ5 技能空间紧凑性与指令对齐之间的权衡如何影响整体性能？

主要发现

• InsActor 在复杂指令遵循任务中达到 90.7% 的成功率，显著优于基线方法（如 Diffuser 的 38.0%）及其他方法。
• 采用技能发现的分层设计提升了运动保真度并减少了误差累积，实现了高 R-precision 和低 FID 分数。
• 消融实验表明，高层规划与低层技能执行的结合至关重要——仅使用高层策略会导致指令对齐差，而仅使用低层策略则无法理解语言上下文。
• 技能空间正则化中的权重因子 λ 实现了运动多样性与物理合理性的可调权衡，最优性能出现在平衡设置下。
• 定性结果表明，InsActor 生成了视觉上合理、多样且连贯的动画，包括多路径点导航和复杂运动序列。
• 该框架支持通过额外输入（如路径点）实现灵活条件控制，实现交互式操作而无需重新训练。