[论文解读] Hindsight Generative Adversarial Imitation Learning

Naijun Liu, Tao Lü+3 more|arXiv (Cornell University)|Mar 19, 2019

Reinforcement Learning in Robotics参考文献 46被引用 6

一句话总结

本文提出了一种新型模仿学习框架——事后生成对抗模仿学习（Hindsight Generative Adversarial Imitation Learning, HGAIL），通过事后转换技术自合成类专家轨迹，实现了无需专家示范的控制策略训练。通过将事后经验回放（HER）整合进GAIL框架，HGAIL能够从智能体自身的轨迹中动态生成高质量、任务相关的示范数据，从而在内置课程机制的辅助下实现稳定且样本高效的策略学习，性能可与监督式模仿方法相媲美。

ABSTRACT

Compared to reinforcement learning, imitation learning (IL) is a powerful paradigm for training agents to learn control policies efficiently from expert demonstrations. However, in most cases, obtaining demonstration data is costly and laborious, which poses a significant challenge in some scenarios. A promising alternative is to train agent learning skills via imitation learning without expert demonstrations, which, to some extent, would extremely expand imitation learning areas. To achieve such expectation, in this paper, we propose Hindsight Generative Adversarial Imitation Learning (HGAIL) algorithm, with the aim of achieving imitation learning satisfying no need of demonstrations. Combining hindsight idea with the generative adversarial imitation learning (GAIL) framework, we realize implementing imitation learning successfully in cases of expert demonstration data are not available. Experiments show that the proposed method can train policies showing comparable performance to current imitation learning methods. Further more, HGAIL essentially endows curriculum learning mechanism which is critical for learning policies.

研究动机与目标

• 为解决模仿学习中专家示范数据成本高且稀缺的问题。
• 开发一种无需任何专家示范即可实现有效策略学习的方法。
• 引入一种自我监督机制，在训练过程中生成高质量、与任务相关的示范数据。
• 为学习过程赋予隐式课程机制，以提升训练稳定性和策略性能。
• 验证在仿真环境中训练的策略是否可直接部署于真实机器人而无需微调。

提出的方法

• 将事后经验回放（HER）集成至GAIL框架中，将轨迹转化为类专家轨迹。
• 利用判别器的输出作为策略优化的奖励信号，奖励函数定义为 $ r_1(s_t,a_t) = -\log(1 - \sigma(\text{dis}(s_t,a_t))) $。
• 在GAN判别器训练中，将智能体自身的轨迹视为负样本，将事后转换后的轨迹视为正样本。
• 在不同训练阶段动态应用事后转换，逐步生成更准确的合成示范。
• 采用课程学习机制，优先对早期、较简单的轨迹进行转换，逐步提升示范的质量与复杂度。
• 仅依赖智能体与环境交互的数据（即轨迹）进行训练，无需外部专家示范，实现完全自监督。

实验结果

研究问题

• RQ1 是否可以完全不依赖专家示范数据成功实现模仿学习？
• RQ2 事后转换是否能有效从智能体自身轨迹中生成高质量的合成类专家示范？
• RQ3 事后轨迹的动态合成是否形成了隐式课程机制，从而提升策略学习的稳定性和性能？
• RQ4 通过HGAIL训练的策略是否可泛化至真实世界机器人系统而无需额外微调？
• RQ5 奖励函数的选择如何影响HGAIL框架中策略学习的收敛性与性能表现？

主要发现

• HGAIL算法成功实现了无需任何专家示范的策略训练，性能可与标准模仿学习方法相媲美。
• 在真实世界抓取任务中，HGAIL训练的策略取得了 $ 0.95 \pm 0.03 $ 的成功率和 $ 0.01 \pm 0.01 $ 米的距离误差。
• 在真实世界抓取任务中，策略取得了 $ 0.93 \pm 0.04 $ 的成功率和 $ 0.02 \pm 0.01 $ 米的距离误差，展现出强大的仿真到现实的迁移能力。
• 奖励函数 $ r_1(s_t,a_t) = -\log(1 - \sigma(\text{dis}(s_t,a_t))) $ 在收敛速度和整体性能（成功率与距离误差）方面表现最佳。
• 事后转换的课程式推进显著提升了策略性能，表明隐式课程机制的重要性。
• 该方法具有样本高效性，仅依赖智能体与环境交互生成的轨迹，无需外部数据或示范。