[论文解读] Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model

Akira Kinose, Tadahiro Taniguchi|arXiv (Cornell University)|Jul 3, 2019

Reinforcement Learning in Robotics参考文献 65被引用 24

一句话总结

该论文提出TRGAIL，一种新颖的模仿学习（IL）与强化学习（RL）融合方法，采用具有多种最优性输出的马尔可夫决策过程（pMDP-MO）概率图模型（PGM）框架。通过将GAIL判别器建模为额外的最优性信号，并与任务完成奖励相结合，该方法将联合策略学习形式化为概率推理，在机器人操控任务中显著提升了样本效率和性能，优于基线的RL与IL方法。

ABSTRACT

Integration of reinforcement learning and imitation learning is an important problem that has been studied for a long time in the field of intelligent robotics. Reinforcement learning optimizes policies to maximize the cumulative reward, whereas imitation learning attempts to extract general knowledge about the trajectories demonstrated by experts, i.e., demonstrators. Because each of them has their own drawbacks, methods combining them and compensating for each set of drawbacks have been explored thus far. However, many of the methods are heuristic and do not have a solid theoretical basis. In this paper, we present a new theory for integrating reinforcement and imitation learning by extending the probabilistic generative model framework for reinforcement learning, {\it plan by inference}. We develop a new probabilistic graphical model for reinforcement learning with multiple types of rewards and a probabilistic graphical model for Markov decision processes with multiple optimality emissions (pMDP-MO). Furthermore, we demonstrate that the integrated learning method of reinforcement learning and imitation learning can be formulated as a probabilistic inference of policies on pMDP-MO by considering the output of the discriminator in generative adversarial imitation learning as an additional optimal emission observation. We adapt the generative adversarial imitation learning and task-achievement reward to our proposed framework, achieving significantly better performance than agents trained with reinforcement learning or imitation learning alone. Experiments demonstrate that our framework successfully integrates imitation and reinforcement learning even when the number of demonstrators is only a few.

研究动机与目标

• 为解决RL与IL之间启发式融合方法的局限性，建立统一的理论框架。
• 开发一种支持多种类型最优性信号的贝叶斯网络模型（pMDP-MO），实现同步学习。
• 通过在单一基于推理的框架中结合专家演示（通过GAIL）与任务特定奖励，实现协同学习。
• 利用结合的IL与RL信号，提升复杂机器人控制任务中的样本效率与最终性能。

提出的方法

• 提出一种新型PGM框架pMDP-MO，通过引入多种最优性输出，扩展了控制即推理的范式。
• 将GAIL判别器输出建模为概率最优性信号，使模仿学习可被视为一种概率推理形式。
• 将任务完成奖励与基于GAIL的模仿奖励整合到统一的目标函数中，用于策略优化。
• 采用最大熵RL优化策略，使其同时最大化任务完成度与专家模仿度，形式化为在pMDP-MO上的联合推理。
• 使用结构化变分推理近似在多重最优性约束下的后验策略分布。
• 在物理模拟器中的机器人操控任务上应用该框架，使用结合奖励信号的PPO算法进行策略训练。

实验结果

研究问题

• RQ1 统一的贝叶斯网络模型框架能否有效整合来自RL与IL的多种奖励信号？
• RQ2 将GAIL判别器建模为最优性输出，相较于标准IL或RL，能否显著提升策略学习效果？
• RQ3 将任务完成奖励与基于GAIL的模仿信号结合，能在多大程度上提升样本效率与最终性能？
• RQ4 所提出方法是否能在不同复杂度与专家质量的多样化机器人控制任务中实现良好泛化？

主要发现

• 在Pusher任务中，TRGAIL使用15个专家演示，平均回合得分达到72.4，优于GAIL（61.1）和BC（34.0）。
• 在Striker任务中，TRGAIL使用10条专家轨迹，平均得分为72.6，显著超过GAIL（40.1）和BC（7.6）。
• 在Thrower任务中，TRGAIL使用15个专家演示，平均得分为86.9，优于GAIL（86.1）和BC（63.5）。
• TRGAIL展现出卓越的样本效率，尤其在专家轨迹较少时表现更优——当仅提供1条专家轨迹时，其性能仍优于GAIL。
• 该方法对次优专家表现出鲁棒性，即使专家演示不完整或非最优，仍能有效学习。
• 框架揭示出一种权衡：专家数量增加时性能略有下降，提示动态调整IL与RL信号权重可能进一步提升结果。