[论文解读] Learning to Sit: Synthesizing Human-Chair Interactions via Hierarchical Control

Yu-Wei Chao, Jimei Yang+2 more|arXiv (Cornell University)|Aug 20, 2019

Human Motion and Animation参考文献 41被引用 8

一句话总结

本文提出了一种分层强化学习框架，通过将任务分解为可重用的子任务（如行走、转向、就座）来合成逼真的真人-椅子就座动作，这些子任务均基于动作捕捉数据学习。元控制器协调这些子任务，以在多种初始配置下实现泛化，在复杂场景中实现了31.61%的成功率，优于非分层和固定序列基线模型。

ABSTRACT

Recent progress on physics-based character animation has shown impressive breakthroughs on human motion synthesis, through imitating motion capture data via deep reinforcement learning. However, results have mostly been demonstrated on imitating a single distinct motion pattern, and do not generalize to interactive tasks that require flexible motion patterns due to varying human-object spatial configurations. To bridge this gap, we focus on one class of interactive tasks -- sitting onto a chair. We propose a hierarchical reinforcement learning framework which relies on a collection of subtask controllers trained to imitate simple, reusable mocap motions, and a meta controller trained to execute the subtasks properly to complete the main task. We experimentally demonstrate the strength of our approach over different non-hierarchical and hierarchical baselines. We also show that our approach can be applied to motion prediction given an image input. A supplementary video can be found at https://youtu.be/3CeN0OGz2cA.

研究动机与目标

• 解决基于物理的交互动作合成中缺乏泛化的问题，特别是在就座等任务中，固定动作模式在人类-物体配置变化时失效。
• 克服非分层模型的局限性，这些模型因采用刚性、单任务训练而难以处理灵活的动作模式。
• 实现对多种起始位置和方向（如面对椅子、位于椅子后方或侧面）的适应性动作合成。
• 开发一种可扩展的框架，结合学习得到的子任务控制器与元控制器，以在复杂、高层级的交互任务中实现泛化。
• 展示该框架在结合3D场景重建与物理模拟的图像输入下进行动作预测的适用性。

提出的方法

• 将高层级的就座任务分解为可重用的低层级子任务（如行走、左转、右转、就座），每个子任务均通过模仿学习在动作捕捉数据上独立训练。
• 使用深度强化学习训练各个子任务控制器，以在物理模拟中模仿参考动作捕捉动作，确保物理上的合理性。
• 设计一个通过分层强化学习训练的元控制器，根据当前的人-椅空间配置选择并排序子任务。
• 实施课程学习以提高在具有挑战性的初始配置（如椅子后方或侧方）下的训练稳定性和成功率。
• 通过输入图像中的3D椅子检测初始化场景，并支持从视觉输入进行动作预测，与基于物理的模拟集成。
• 在子任务转换后通过在前一子任务的终止状态上微调，提高子任务的成功率，从而增强序列执行中的鲁棒性。

实验结果

研究问题

• RQ1 分层强化学习框架是否能在多样化初始空间配置（如面对椅子、位于椅子后方或侧面）下，比非分层模型更好地泛化真人-椅子就座动作？
• RQ2 元控制器在不同起始条件下，是否能有效协调可重用子任务（如行走、转向、就座）以完成主任务？
• RQ3 课程学习是否能提高在高难度初始配置（如Zone 2和Zone 3）下的训练稳定性和成功率？
• RQ4 该框架是否可扩展至结合3D场景重建与物理模拟，实现从单张图像输入进行动作预测？
• RQ5 与固定或单向转向策略相比，互补子任务（如左转与右转）在多大程度上提升了泛化能力？

主要发现

• 所提出的分层方法在多样化初始配置下实现了31.61%的成功率，显著优于非分层和固定序列基线模型。
• 元控制器成功学习到根据上下文切换子任务，当从左侧开始时优先选择‘行走→左转’，从右侧开始时则选择‘行走→右转’。
• 课程学习将困难区域（如Zone 3）的成功率从4.05%提升至7.05%，证明其在稳定复杂任务训练方面的有效性。
• 在转换状态上微调后，子任务成功率得到提升——例如右转成功率从67.59%提高到更高水平，表明在序列执行中更具鲁棒性。
• 该框架通过结合3D椅子检测与基于物理的模拟，实现了从单张图像输入进行动作预测，展示了在真实输入场景中的适用性。
• 失败分析表明，子任务执行失败和过渡失败是导致成功率低下的主要原因，凸显了需要更丰富的子任务集合。