[论文解读] Compositional Imitation Learning: Explaining and executing one task at a time

Thomas Kipf, Yujia Li+5 more|arXiv (Cornell University)|Dec 4, 2018

Topic Modeling参考文献 9被引用 7

一句话总结

CompILE 提出了一种组合式模仿学习框架，利用无监督、可微分的序列分割模块，从演示数据中发现可重用的、可变长度的行为片段。通过自编码进行训练，该框架支持在稀疏奖励环境下对新任务进行分层执行，通过从学习到的潜在代码中获取特定任务策略，其性能优于非分层智能体。

ABSTRACT

We introduce a framework for Compositional Imitation Learning and Execution (CompILE) of hierarchically-structured behavior. CompILE learns reusable, variable-length segments of behavior from demonstration data using a novel unsupervised, fully-differentiable sequence segmentation module. These learned behaviors can then be re-composed and executed to perform new tasks. At training time, CompILE auto-encodes observed behavior into a sequence of latent codes, each corresponding to a variable-length segment in the input sequence. Once trained, our model generalizes to sequences of longer length and from environment instances not seen during training. We evaluate our model in a challenging 2D multi-task environment and show that CompILE can find correct task boundaries and event encodings in an unsupervised manner without requiring annotated demonstration data. Latent codes and associated behavior policies discovered by CompILE can be used by a hierarchical agent, where the high-level policy selects actions in the latent code space, and the low-level, task-specific policies are simply the learned decoders. We found that our agent could learn given only sparse rewards, where agents without task-specific policies struggle.

研究动机与目标

• 通过从原始演示序列中发现可重用的行为片段，实现在无任务标注情况下的分层模仿学习。
• 开发一种完全可微分的无监督序列分割模块，以识别演示数据中可变长度的行为片段。
• 通过学习到的潜在代码表示，实现在更长序列和未见环境中的泛化能力。
• 通过将学习到的潜在代码用作高层动作，将解码器用作低层策略，支持分层决策。
• 通过利用从学习行为中导出的特定任务策略，在稀疏奖励设置中提高样本效率。

提出的方法

• 使用序列自编码器架构将演示序列编码为一系列潜在代码，每个代码代表一个可变长度的行为片段。
• 通过一种新颖的、完全可微分的模块执行序列分割，该模块在无监督条件下学习将序列划分为有意义的行为单元。
• 每个潜在代码都关联一个解码器策略，将代码映射为低层动作序列，从而实现已学习行为的执行。
• 高层策略在潜在代码空间中运行，通过选择代码来组合新的任务序列。
• 通过重建损失进行端到端训练，以在学习解耦且可重用的行为的同时保持输入序列的保真度。
• 通过学习到的潜在代码及其关联策略的组合性质，实现对更长序列和未见环境的泛化。

实验结果

研究问题

• RQ1 无监督、可微分的序列分割模块能否从未结构化的演示序列中发现有意义且可重用的行为片段？
• RQ2 学习到的潜在代码及其关联策略能否有效支持对新任务、更长序列或未见任务的分层执行？
• RQ3 具有学习到的解码器的分层智能体架构是否能在稀疏奖励环境中提高样本效率？
• RQ4 在无标注数据的情况下，该模型在多大程度上能正确识别任务边界和事件编码？
• RQ5 该模型在多大程度上能泛化到训练期间未见过的环境和序列长度？

主要发现

• CompILE 以无监督方式成功识别了任务边界和事件编码，无需使用标注的演示数据。
• 该模型能够泛化到训练期间未见过的更长序列，展示了组合泛化能力。
• 具有学习到的解码器的分层智能体在稀疏奖励环境中的表现优于未使用特定任务策略的智能体。
• 学习到的潜在代码代表可重用的、可变长度的行为片段，可重新组合以形成新的任务序列。
• 完全可微分的分割模块支持端到端训练，并能从原始序列中稳定发现行为组件。
• 该框架通过在潜在代码空间中组合学习到的行为，实现了对未见环境的有效零样本迁移。