[论文解读] Model-Free Imitation Learning with Policy Optimization

Jonathan Ho, Jayesh K. Gupta+1 more|arXiv (Cornell University)|May 26, 2016

Reinforcement Learning in Robotics参考文献 19被引用 41

一句话总结

该论文提出了一种无需迭代求解规划问题的无模型模仿学习方法，通过策略梯度直接优化随机策略。通过将行为克隆学习表述为参数化策略上的基于梯度的优化，该方法实现了局部收敛，并仅使用专家演示轨迹就在高维连续控制任务中成功训练了深度神经网络策略，其可扩展性和鲁棒性优于先前方法。

ABSTRACT

In imitation learning, an agent learns how to behave in an environment with an unknown cost function by mimicking expert demonstrations. Existing imitation learning algorithms typically involve solving a sequence of planning or reinforcement learning problems. Such algorithms are therefore not directly applicable to large, high-dimensional environments, and their performance can significantly degrade if the planning problems are not solved to optimality. Under the apprenticeship learning formalism, we develop alternative model-free algorithms for finding a parameterized stochastic policy that performs at least as well as an expert policy on an unknown cost function, based on sample trajectories from the expert. Our approach, based on policy gradients, scales to large continuous environments with guaranteed convergence to local minima.

研究动机与目标

• 解决现有模仿学习方法在内层循环中依赖迭代规划或强化学习所导致的可扩展性限制。
• 开发一种无模型的行为克隆学习方法，避免显式学习成本函数和规划过程，从而降低计算开销。
• 在传统方法因计算不可行而失效的高维连续控制环境中实现有效模仿。
• 在策略梯度优化下提供收敛至局部最优的理论保证，确保无需最优规划即可实现稳定学习。
• 在具有高维观测的复杂任务中验证该方法的有效性，例如机器人控制和高速公路驾驶仿真。

提出的方法

• 将行为克隆学习表述为策略梯度优化问题，直接最小化专家策略与学习策略在一类成本函数上的性能差异。
• 使用可微架构（如神经网络）的参数化策略来表示智能体行为，支持通过梯度上升实现端到端训练。
• 应用信任区域策略优化（TRPO）以稳定训练并确保单调性改进，利用对策略更新的约束。
• 定义一类成本函数（如线性或二次特征），用于区分专家行为与次优策略，并将其作为策略优化的代理信号。
• 仅使用专家演示轨迹进行策略训练，无需在训练过程中提供奖励信号或与专家交互。
• 利用状态-动作访问分布和优势函数计算策略梯度，实现在连续空间中的样本高效优化。

实验结果

研究问题

• RQ1 无模型的策略优化方法是否能在每次迭代中不求解规划问题的情况下实现有效的模仿学习？
• RQ2 通过直接梯度优化训练的策略性能与需要迭代强化学习或成本函数拟合的方法相比如何？
• RQ3 该方法在具有复杂观测的高维连续控制任务中可扩展到何种程度？
• RQ4 在策略优化中使用信任区域约束是否能提升模仿学习中的收敛性和稳定性？
• RQ5 该方法是否能泛化到未见过的状态，并在高速公路驾驶仿真等复杂环境中生成类人行为？

主要发现

• 所提出的IM-TRPO方法在具有超过600个连续特征的环境中成功训练了深度神经网络策略，其性能与使用完整环境模型的最先进方法相当。
• 在部分观测的高速公路驾驶任务中（610维传感器输入），IM-TRPO学习到的策略在定性和定量上均与人类演示以及拥有完整状态信息的CIOC方法生成的行为相似。
• 在20个传感器设置下，IM-TRPO在1000次迭代内实现了约1.5的额外成本，表明其收敛稳定且无需最优规划。
• 当专家策略并非完全最优时，该方法未表现出显著性能下降，表明其对不完美演示具有鲁棒性。
• 即使内层规划问题未被精确求解，该方法仍能实现局部最优策略并保证收敛——而对比方法缺乏此类保证。
• 在所有评估任务中，学习到的策略均能有效泛化到未见过的状态，优于行为克隆方法，并避免了因轨迹级学习导致的级联误差问题。