[论文解读] MoCapAct: A Multi-Task Dataset for Simulated Humanoid Control

Nolan Wagener, Andrey Kolobov+4 more|arXiv (Cornell University)|Aug 15, 2022

Human Pose and Action Recognition被引用 4

一句话总结

MoCapAct 提供了一个大规模、高质量的专家策略数据集，涵盖在 dm_control 人形环境中的 3.5 小时动作捕捉数据跟踪，支持复杂运动控制与运动补全的高效学习。该数据集支持分层策略与自回归 GPT 模型的训练，可在不同片段间实现泛化，并从运动提示生成自然、长时序的运动。

ABSTRACT

Simulated humanoids are an appealing research domain due to their physical capabilities. Nonetheless, they are also challenging to control, as a policy must drive an unstable, discontinuous, and high-dimensional physical system. One widely studied approach is to utilize motion capture (MoCap) data to teach the humanoid agent low-level skills (e.g., standing, walking, and running) that can then be re-used to synthesize high-level behaviors. However, even with MoCap data, controlling simulated humanoids remains very hard, as MoCap data offers only kinematic information. Finding physical control inputs to realize the demonstrated motions requires computationally intensive methods like reinforcement learning. Thus, despite the publicly available MoCap data, its utility has been limited to institutions with large-scale compute. In this work, we dramatically lower the barrier for productive research on this topic by training and releasing high-quality agents that can track over three hours of MoCap data for a simulated humanoid in the dm_control physics-based environment. We release MoCapAct (Motion Capture with Actions), a dataset of these expert agents and their rollouts, which contain proprioceptive observations and actions. We demonstrate the utility of MoCapAct by using it to train a single hierarchical policy capable of tracking the entire MoCap dataset within dm_control and show the learned low-level component can be re-used to efficiently learn downstream high-level tasks. Finally, we use MoCapAct to train an autoregressive GPT model and show that it can control a simulated humanoid to perform natural motion completion given a motion prompt. Videos of the results and links to the code and dataset are available at https://microsoft.github.io/MoCapAct.

研究动机与目标

• 通过提供动作捕捉数据跟踪的预训练专家策略，降低模拟人形控制研究的入门门槛。
• 通过复用从动作捕捉数据中学到的低层技能，实现高层行为的高效学习。
• 通过在 MoCapAct 轨迹上训练基于 GPT 的策略，支持生成式运动补全。
• 将高质量的动作捕捉跟踪策略与轨迹公开，供更广泛的研究使用。
• 通过强化学习展示该数据集在训练多片段策略与下游任务中的实用性。

提出的方法

• 在 dm_control 环境中训练深度强化学习智能体，以跟踪单个动作捕捉片段，为每个片段生成专家策略。
• 从每个专家策略中收集注入噪声的轨迹（观测与动作），构成 MoCapAct 数据集。
• 使用 MoCapAct 轨迹训练分层策略，以同时跟踪所有片段，共享低层组件。
• 通过强化学习对分层策略的低层组件进行微调，以实现对下游任务的快速适应。
• 在 32 步观测与专家动作序列上训练自回归 GPT 模型，以实现从运动提示的运动补全。
• 通过轨迹生成评估 GPT 策略，使用主成分分析投影测量轨迹长度与运动相似性。

实验结果

研究问题

• RQ1 能否通过共享的低层策略组件，训练单一的分层策略以同时跟踪多个动作捕捉片段？
• RQ2 从 MoCapAct 学到的低层策略能否通过强化学习有效微调至新的下游任务？
• RQ3 基于 GPT 的模型能否利用 MoCapAct 数据，从短运动提示生成长时序、自然的人形运动？
• RQ4 GPT 策略在未见片段上的泛化能力如何？生成运动的长度分布如何？
• RQ5 生成的运动在多大程度上匹配原始动作捕捉片段的运动学模式？

主要发现

• MoCapAct 数据集包含成功在 dm_control 环境中跟踪多个片段共 3.5 小时动作捕捉数据的专家策略。
• 在 MoCapAct 轨迹上训练的单一分层策略可同时跟踪所有考虑的运动捕捉片段，证明了有效的多片段泛化能力。
• 分层策略的低层组件可通过强化学习高效微调，以学习新的下游任务。
• 基于 GPT 的策略生成的运动补全平均轨迹长度为 5.47 秒（为提示长度的 1.15 倍），展现出稳健的长时序生成能力。
• 主成分分析投影显示，GPT 生成的动作通常重复已演示的运动，尽管由于提示模糊性偶尔会出现偏差。
• GPT 模型在多样化片段上泛化良好，包括行走与非行走类运动，在训练集与保留的验证集上均保持一致的性能。