[论文解读] Model-based Adversarial Imitation Learning

Nir Baram, Oron Anschel+1 more|arXiv (Cornell University)|Dec 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 27

一句话总结

本文提出基于模型的对抗性模仿学习（MAIL），一种可微分的、基于模型的模仿学习方法，利用学习到的前向模型实现从判别器到策略的端到端梯度反向传播。与无模型的GAIL相比，该方法在MuJoCo运动任务上实现了最先进性能，且环境交互次数更少、超参数调优更少。

ABSTRACT

Generative adversarial learning is a popular new approach to training generative models which has been proven successful for other related problems as well. The general idea is to maintain an oracle $D$ that discriminates between the expert's data distribution and that of the generative model $G$. The generative model is trained to capture the expert's distribution by maximizing the probability of $D$ misclassifying the data it generates. Overall, the system is \emph{differentiable} end-to-end and is trained using basic backpropagation. This type of learning was successfully applied to the problem of policy imitation in a model-free setup. However, a model-free approach does not allow the system to be differentiable, which requires the use of high-variance gradient estimations. In this paper we introduce the Model based Adversarial Imitation Learning (MAIL) algorithm. A model-based approach for the problem of adversarial imitation learning. We show how to use a forward model to make the system fully differentiable, which enables us to train policies using the (stochastic) gradient of $D$. Moreover, our approach requires relatively few environment interactions, and fewer hyper-parameters to tune. We test our method on the MuJoCo physics simulator and report initial results that surpass the current state-of-the-art.

研究动机与目标

• 通过引入一种可微分的、基于模型的替代方法，解决无模型对抗性模仿学习中的高方差梯度估计问题。
• 通过利用学习到的前向模型，减少策略训练所需的环境交互次数。
• 通过可微分系统实现稳定、可反向传播的训练，最小化超参数敏感性。
• 通过将前向模型与对抗性训练相结合，提升模仿学习的样本效率和鲁棒性。
• 通过利用来自判别器的梯度实现策略的端到端训练，避免依赖高方差的策略梯度估计器。

提出的方法

• 训练前向模型 $f(s, a)$ 以预测下一状态转移，实现轨迹的可微分滚动。
• 使用判别器 $D(s, a)$ 区分专家示范与生成轨迹，梯度通过前向模型反向传播。
• 将策略目标表述为最小化整个轨迹上判别器得分的总和，以实现基于梯度的优化。
• 使用具有递减学习率的回放缓冲区，联合训练判别器、前向模型和策略。
• 对专家数据应用噪声增强，以提升判别器泛化能力，尤其是在示范数据有限的情况下。
• 使用更大的判别器网络（约为策略网络的2倍大小）和更快的策略学习率（比判别器快3倍），以平衡训练动力学。

实验结果

研究问题

• RQ1 基于模型的对抗性模仿学习方法是否能够通过标准反向传播实现端到端可微分训练？
• RQ2 与无模型的GAIL相比，引入学习到的前向模型是否能降低样本复杂度和超参数敏感性？
• RQ3 前向模型的集成如何影响对抗性模仿学习的稳定性和收敛性？
• RQ4 判别器的输出是否不仅能用于模仿，还能用于置信度估计或课程学习？
• RQ5 何种训练配置（如学习率比、网络大小）在MAIL框架中能实现最优性能？

主要发现

• MAIL在Hopper任务上取得了最先进性能，25次专家示范下平均回报达3669.53 ± 6.09，优于GAIL。
• 在Walker任务上，MAIL使用25次专家示范，回报达7070.45 ± 30.68，优于行为克隆和GAIL。
• 由于使用了可微分前向模型，该方法所需的环境交互次数显著少于无模型方法。
• 对专家数据添加噪声可改善收敛性，尤其在低数据场景下，可防止判别器过度拟合专家特定模式。
• 判别器网络提供了有用的置信度信号，可用于优先处理训练样本或在推理时评估策略可靠性。
• 使用更大的判别器（2倍于策略大小）和更快的策略学习率（比判别器快3倍）可提升性能与稳定性。