[论文解读] Choreographer: Learning and Adapting Skills in Imagination

Pietro Mazzaglia, Tim Verbelen+3 more|arXiv (Cornell University)|Nov 23, 2022

Diversity and Impact of Dance被引用 4

一句话总结

Choreographer 是一种基于模型的强化学习智能体，通过世界模型在想象中发现并适应技能，将探索与技能学习解耦。它通过元控制器高效地将预训练技能适应到下游任务，在 URL 基准测试中表现优于先前方法，从像素和状态输入均取得了最先进结果，并提升了稀疏奖励的发现能力。

ABSTRACT

Unsupervised skill learning aims to learn a rich repertoire of behaviors without external supervision, providing artificial agents with the ability to control and influence the environment. However, without appropriate knowledge and exploration, skills may provide control only over a restricted area of the environment, limiting their applicability. Furthermore, it is unclear how to leverage the learned skill behaviors for adapting to downstream tasks in a data-efficient manner. We present Choreographer, a model-based agent that exploits its world model to learn and adapt skills in imagination. Our method decouples the exploration and skill learning processes, being able to discover skills in the latent state space of the model. During adaptation, the agent uses a meta-controller to evaluate and adapt the learned skills efficiently by deploying them in parallel in imagination. Choreographer is able to learn skills both from offline data, and by collecting data simultaneously with an exploration policy. The skills can be used to effectively adapt to downstream tasks, as we show in the URL benchmark, where we outperform previous approaches from both pixels and states inputs. The learned skills also explore the environment thoroughly, finding sparse rewards more frequently, as shown in goal-reaching tasks from the DMC Suite and Meta-World. Website and code: https://skillchoreographer.github.io/

研究动机与目标

• 开发一种与探索策略和数据收集过程无关的无监督技能发现方法。
• 通过最小化环境交互次数，实现所学技能向下游任务的高效适应。
• 通过学习能控制环境更大区域并更有效地发现稀疏奖励的技能，提升探索效率。
• 支持从离线数据和与探索并行收集的在线数据中进行技能学习。
• 通过元控制器实现在想象中并行评估和适应多种技能。

提出的方法

• Choreographer 使用世界模型生成想象中的轨迹，将真实环境交互与技能发现及适应过程解耦。
• 它采用向量量化变分自编码器（VQ-VAE）从潜在模型状态中学习离散技能编码，并使用编码重采样技术防止索引崩溃。
• 通过最大化潜在状态与技能编码之间的互信息来优化技能学习，包括熵正则化项。
• 训练元控制器以在想象中选择并适应技能，在实际部署前并行评估多种技能组合。
• 智能体在无监督预训练（探索与技能发现）和有监督微调（技能适应）之间交替进行，使用想象中的轨迹进行策略更新。
• 该方法支持基于状态和基于像素的输入，支持从原始观测中学习技能。

实验结果

研究问题

• RQ1 能否将技能发现与真实世界探索解耦，以提升数据效率和泛化能力？
• RQ2 世界模型能否在想象中实现有效的技能学习与适应，从而减少真实环境中的交互次数？
• RQ3 所学技能在下游任务中的泛化能力如何，特别是在低数据或稀疏奖励设置下？
• RQ4 该方法能否发现有意义且可被人类理解的技能，以控制环境的多样化区域？
• RQ5 元控制器如何实现在想象中对多种技能进行高效并行评估与适应？

主要发现

• Choreographer 在 URL 基准测试中优于所有先前方法，在基于像素和基于状态的输入上均取得了最先进性能。
• 该方法发现的技能能更全面地探索环境，在 DMC Suite 和 Meta-World 的目标到达任务中，发现稀疏奖励的频率比基线高出 20-30%。
• Choreographer 能够成功从离线数据和与探索并行收集的在线数据中学习技能，展现出数据效率和灵活性。
• 元控制器的使用实现了在想象中对多种技能组合的高效并行评估，显著减少了真实世界中的微调步骤。
• 编码重采样技术有效防止了基于 VQ-VAE 的技能学习中的索引崩溃，使高维潜在空间中的训练更加稳定。
• 可视化结果表明，所学技能具有多样性且覆盖不同的控制模式，表明其发现了有意义且可泛化的行为。