[论文解读] Generative Adversarial Imitation Learning

Jonathan Ho, Stefano Ermon|arXiv (Cornell University)|Jun 10, 2016

Reinforcement Learning in Robotics参考文献 21被引用 369

一句话总结

引入一种无模型模仿学习算法，受生成对抗网络启发，直接从专家示范中学习策略，无需强化信号或专家交互。它将模仿框定为通过 GANs 类似设置的占用量度匹配，并在高维控制任务上实现强性能。

ABSTRACT

Consider learning a policy from example expert behavior, without interaction with the expert or access to reinforcement signal. One approach is to recover the expert's cost function with inverse reinforcement learning, then extract a policy from that cost function with reinforcement learning. This approach is indirect and can be slow. We propose a new general framework for directly extracting a policy from data, as if it were obtained by reinforcement learning following inverse reinforcement learning. We show that a certain instantiation of our framework draws an analogy between imitation learning and generative adversarial networks, from which we derive a model-free imitation learning algorithm that obtains significant performance gains over existing model-free methods in imitating complex behaviors in large, high-dimensional environments.

研究动机与目标

• 在不查询专家或使用强化信号的情况下，直接从专家轨迹数据学习策略的动机。
• 开发可扩展的模仿学习框架，绕过逆强化学习作为中间步骤。
• 利用对抗性训练使学习者的状态-行动占用量与专家的占用量对齐。
• 在高维环境中展示相对于现有无模型模仿方法的性能提升。

提出的方法

• 将模仿表述为在占用量度之间最小化 Jensen-Shannon 散度，并加上因果熵正则项。
• 引入一个正则化项 psi_GA，其共轭凸函数诱导软占用量度匹配目标。
• 推导出一个可行的算法（Generative Adversarial Imitation Learning），在训练一个判别器 D 以区分学习者与专家的转移之间进行交替，并通过类似 TRPO 的步骤使用 log(D) 作为代价来更新策略 π。
• 通过将学习者的占用量视为生成器分布、专家的占用量视为目标分布，将该算法与 GANs 相连。
• 对策略和判别器都使用神经网络参数化，并对 D 进行 Adam 更新，对策略使用 KL-约束的自然梯度步更新。

实验结果

研究问题

• RQ1 是否可以在不进行 IRL 或不使用强化信号的情况下直接从专家轨迹学习策略？
• RQ2 是否存在可扩展到高维连续控制任务、并优于现有基线的无模型模仿方法？
• RQ3 对抗性训练目标是否能带来比传统学徒学习方法更接近专家的占用量匹配？

主要发现

• 提出的 Generative Adversarial Imitation Learning (GAIL) 在若干物理基础的控制任务上优于行为克隆、FEM 和 GTAL。
• GAIL 在经典控制任务如 cartpole、acrobot、mountain car 的不同数据集规模下，达到接近专家的性能。
• 在若干 MuJoCo 环境中，GAIL 相对基线提供了较大性能提升，通常达到专家性能的一大比例。
• 在某些任务（如 Reacher）因果熵正则化可在样本效率上带来额外改进。
• GAIL 直接最小化占用量度之间的真实距离（JS 散度），而不是依赖线性或凸成本函数类，从而实现更接近专家的模仿。