[论文解读] An Imitation from Observation Approach to Transfer Learning with Dynamics Mismatch

Siddharth Desai, Ishan Durugkar+4 more|arXiv (Cornell University)|Aug 4, 2020

Reinforcement Learning in Robotics参考文献 45被引用 15

一句话总结

本文提出GARAT，一种新颖的从观察中进行对抗性模仿的方法，通过将模拟器与真实世界动力学对齐，提升了从仿真到现实的迁移性能。通过将对齐后的动作转换建模为从观察中模仿的问题，GARAT仅使用状态示范即可学习动力学适应策略，在极少的真实世界交互下实现卓越的迁移性能——在Minitaur领域中，仅使用1,000次真实过渡，性能最高可达最优性能的80%，优于先前方法如GAT。

ABSTRACT

We examine the problem of transferring a policy learned in a source environment to a target environment with different dynamics, particularly in the case where it is critical to reduce the amount of interaction with the target environment during learning. This problem is particularly important in sim-to-real transfer because simulators inevitably model real-world dynamics imperfectly. In this paper, we show that one existing solution to this transfer problem - grounded action transformation - is closely related to the problem of imitation from observation (IfO): learning behaviors that mimic the observations of behavior demonstrations. After establishing this relationship, we hypothesize that recent state-of-the-art approaches from the IfO literature can be effectively repurposed for grounded transfer learning.To validate our hypothesis we derive a new algorithm - generative adversarial reinforced action transformation (GARAT) - based on adversarial imitation from observation techniques. We run experiments in several domains with mismatched dynamics, and find that agents trained with GARAT achieve higher returns in the target environment compared to existing black-box transfer methods

研究动机与目标

• 为解决在真实世界交互成本高昂的情况下，从模拟器向真实环境迁移策略时因动力学不匹配带来的挑战。
• 探究最先进的从观察中模仿（IfO）技术是否可被重新用于迁移学习中的模拟器对齐。
• 开发一种新算法，学习动作转换策略以减少源环境与目标环境之间的分布差异。
• 验证对抗性模仿学习技术是否可提升仿真到现实场景中的对齐与迁移效率。

提出的方法

• 本文将对齐动作转换（GAT）问题形式化为从观察中模仿（IfO）问题，其中仅观察到目标环境的状态轨迹，而未观察到动作。
• 提出一种受生成对抗网络（GANs）启发的分布匹配目标，用于对齐源环境与目标环境的状态分布。
• 所提出的GARAT算法通过训练策略将源环境中的动作进行转换，使生成的状态轨迹与目标环境的状态轨迹相匹配。
• 该方法使用判别器来区分真实目标环境轨迹与生成的源环境轨迹，从而实现对抗性训练。
• 通过强化学习优化策略，以最小化判别器区分真实轨迹与生成轨迹的能力。
• 该方法仅需少量真实世界过渡即可学习到有效的动作转换策略。

实验结果

研究问题

• RQ1 是否可将对齐动作转换正式解释为从观察中模仿的问题？
• RQ2 是否可有效将最先进的对抗性从观察中模仿技术适配至仿真到现实迁移中的动力学差异减少？
• RQ3 所提出的GARAT算法是否在源环境对齐方面优于现有黑箱迁移方法？
• RQ4 改进的对齐在多大程度上能转化为目标环境中更高的策略性能？

主要发现

• GARAT显著减少了源环境与目标环境之间的分布差异，在对齐质量方面优于GAT。
• 在MuJoCo Ant领域中重力加倍的情况下，GARAT成功迁移了高性能策略，而基线方法则失败。
• 在高保真Minitaur领域中，GARAT仅使用1,000次真实过渡即实现了超过最优目标性能80%的性能，优于GAT（后者使用十倍数据最多仅达50%性能）。
• 在Walker和Ant环境中，GARAT始终优于所有基线方法，包括GAT及其他黑箱迁移技术。
• 该方法在多种领域中表现出稳健的迁移性能，包括高维状态空间与复杂动力学的环境。
• 结果证实，利用对抗性从观察中模仿技术可实现更有效的对齐，并带来更好的仿真到现实迁移性能。