[论文解读] Energy-Based Imitation Learning

Minghuan Liu, Tairan He+2 more|arXiv (Cornell University)|Apr 20, 2020

Reinforcement Learning in Robotics参考文献 51被引用 12

一句话总结

该论文提出能量函数模仿学习（EBIL），一种两阶段框架，通过分数匹配估计专家的能量函数，并将其作为策略学习的代理奖励，避免了迭代式的奖励-策略优化。EBIL在性能上可与对抗式IRL方法相媲美，同时具备更优的训练稳定性和可解释的奖励信号。

ABSTRACT

We tackle a common scenario in imitation learning (IL), where agents try to recover the optimal policy from expert demonstrations without further access to the expert or environment reward signals. Except the simple Behavior Cloning (BC) that adopts supervised learning followed by the problem of compounding error, previous solutions like inverse reinforcement learning (IRL) and recent generative adversarial methods involve a bi-level or alternating optimization for updating the reward function and the policy, suffering from high computational cost and training instability. Inspired by recent progress in energy-based model (EBM), in this paper, we propose a simplified IL framework named Energy-Based Imitation Learning (EBIL). Instead of updating the reward and policy iteratively, EBIL breaks out of the traditional IRL paradigm by a simple and flexible two-stage solution: first estimating the expert energy as the surrogate reward function through score matching, then utilizing such a reward for learning the policy by reinforcement learning algorithms. EBIL combines the idea of both EBM and occupancy measure matching, and via theoretic analysis we reveal that EBIL and Max-Entropy IRL (MaxEnt IRL) approaches are two sides of the same coin, and thus EBIL could be an alternative of adversarial IRL methods. Extensive experiments on qualitative and quantitative evaluations indicate that EBIL is able to recover meaningful and interpretative reward signals while achieving effective and comparable performance against existing algorithms on IL benchmarks.

研究动机与目标

• 为解决传统逆向强化学习（IRL）和基于GAN的模仿学习方法存在的高计算成本与训练不稳定性问题。
• 通过将奖励估计与策略学习解耦，提出一种简化且非迭代的双层IRL与对抗式模仿学习的替代方案。
• 即使在仅状态模仿学习设置下，也能从专家演示中恢复出有意义且可解释的奖励信号。
• 证明能量模型可作为对抗式IRL框架的合理且有效的替代方案。

提出的方法

• 通过分数匹配使用基于能量的模型（EBM）估计专家的占据测度，避免显式计算似然。
• 从学习到的能量函数构建代理奖励函数，通过标准强化学习指导策略优化。
• 采用深度能量估计网络（DEEN）对连续控制任务中专家轨迹的非归一化密度进行建模。
• 采用两阶段训练流程：首先在专家演示上训练能量模型，然后使用估计的奖励微调策略。
• 对能量函数应用单调性调整（如Sigmoid函数），以提升样本效率并避免稀疏奖励问题。
• 通过匹配目标状态边际分布，将方法扩展至仅状态模仿学习，使用启发式样本实现。

实验结果

研究问题

• RQ1 能否通过从专家能量估计中获得的固定、非迭代奖励，在模仿学习中超越迭代式IRL与基于GAN的方法？
• RQ2 所提出的基于能量的奖励估计在理论上与最大熵IRL有何关联？
• RQ3 EBIL能否即使在次优或稀疏数据下，仍能从专家演示中恢复出有意义且可解释的奖励信号？
• RQ4 使用‘半训练’的能量模型是否能通过缓解稀疏奖励问题，提升策略学习效果？
• RQ5 能否通过匹配状态边际分布，将EBIL扩展至仅状态模仿学习？

主要发现

• EBIL在Hopper和Walker2等连续控制基准测试中，性能可与最先进对抗式IRL方法相媲美，且训练稳定性更优。
• 估计的能量函数恢复出与专家行为一致的可解释奖励信号，如在一维与二维环境中可视化所示。
• 消融实验表明，‘半训练’的能量模型通常比完全训练的模型提供更平滑、更有效的奖励信号，从而解决稀疏奖励问题。
• EBIL通过匹配启发式状态分布，成功实现了仅状态模仿学习，使智能体在无动作演示的情况下也能学习复杂行为。
• 理论分析表明，EBIL与最大熵IRL本质上是同一问题的两个方面，最大熵IRL是EBIL在交替优化下的特例。
• 该方法对次优专家演示表现出鲁棒性，在多个环境中均保持强劲性能。