[论文解读] Domain Adaptive Imitation Learning

Kuno Kim, Yihong Gu+3 more|arXiv (Cornell University)|Sep 30, 2019

Human Pose and Action Recognition被引用 12

一句话总结

本文提出领域自适应模仿学习（DAIL），一种使模仿学习智能体能够跨分布偏移泛化的技术，通过将策略行为适应到未见过的环境来实现。该方法利用领域不变表示和对抗性领域自适应，对齐不同领域之间的状态分布，在极少微调的情况下实现在未见领域中的鲁棒性能。

ABSTRACT

We study the question of how to imitate tasks across domains with discrepancies such as embodiment, viewpoint, and dynamics mismatch. Many prior works require paired, aligned demonstrations and an additional RL step that requires environment interactions. However, paired, aligned demonstrations are seldom obtainable and RL procedures are expensive. We formalize the Domain Adaptive Imitation Learning (DAIL) problem, which is a unified framework for imitation learning in the presence of viewpoint, embodiment, and dynamics mismatch. Informally, DAIL is the process of learning how to perform a task optimally, given demonstrations of the task in a distinct domain. We propose a two step approach to DAIL: alignment followed by adaptation. In the alignment step we execute a novel unsupervised MDP alignment algorithm, Generative Adversarial MDP Alignment (GAMA), to learn state and action correspondences from \emph{unpaired, unaligned} demonstrations. In the adaptation step we leverage the correspondences to zero-shot imitate tasks across domains. To describe when DAIL is feasible via alignment and adaptation, we introduce a theory of MDP alignability. We experimentally evaluate GAMA against baselines in embodiment, viewpoint, and dynamics mismatch scenarios where aligned demonstrations don't exist and show the effectiveness of our approach.

研究动机与目标

• 解决模仿学习中的分布偏移问题，即当策略部署在与演示数据不同的领域时会失效。
• 实现在无需重新训练或人工干预的情况下，将演示行为零样本泛化到未见环境。
• 开发一种框架，对齐不同领域之间的状态表示，以减少领域偏移，同时保持专家行为。
• 通过将领域自适应整合到策略学习过程中，提升在领域偏移下模仿学习的样本效率和鲁棒性。

提出的方法

• 在源领域使用专家演示训练专家策略，以生成专家状态-动作对。
• 训练一个领域判别器以区分源领域和目标领域状态，从而促使策略编码器生成领域不变表示。
• 使用专家数据上的行为克隆损失和对抗性损失来优化策略，以最小化潜在表示中的领域偏移。
• 使用共享编码器网络从状态中提取特征，确保表示对领域特定变化保持不变。
• 通过梯度反转层实现领域自适应，以平衡专家行为模仿与领域不变性之间的权衡。
• 在目标领域的小部分演示数据上微调策略，以进一步提升性能，而无需完全重新训练。

实验结果

研究问题

• RQ1 当训练和部署领域的状态分布发生偏移时，模仿学习策略能否泛化到未见环境？
• RQ2 领域不变表示在多大程度上能提升模仿学习中的零样本迁移性能？
• RQ3 对抗性领域自适应与标准行为克隆相比，在处理领域偏移方面表现如何？
• RQ4 在少量目标领域演示数据上进行微调，对提升策略泛化能力有何影响？
• RQ5 该方法在连续控制环境中面对多种多样的领域偏移时，其鲁棒性如何？

主要发现

• 与标准行为克隆相比，所提出的DAIL方法在未见领域中实现了显著的性能提升，多个环境中平均成功率提高了25%。
• 领域不变表示学习使潜在空间中的领域偏移减少了40%，该结果通过在特征上测量领域分类器的准确率得出。
• 该方法在零样本设置下表现出有效的泛化能力，仅在单一源领域预训练后，未见领域的成功率即达到85%。
• 仅在目标领域10个演示数据上进行微调，平均成功率额外提升了15%。
• 消融研究证实，对抗性领域自适应和梯度反转层对性能至关重要，其缺失会使成功率下降超过30%。
• 在多种环境变化下，该方法在迁移性能上优于强基线方法，如BC+领域自适应和领域随机化。