[论文解读] Imitation Learning with a Value-Based Prior

Umar Syed, Robert E. Schapire|arXiv (Cornell University)|Jun 20, 2012

Reinforcement Learning in Robotics参考文献 13被引用 8

一句话总结

本文提出一种基于价值的先验用于模仿学习，其中马尔可夫决策过程（MDP）对导师行为的先验知识进行建模，MDP中策略的价值作为对数先验概率。该方法采用贝叶斯框架，高效收敛至策略后验分布的驻点，与先前方法相比，在模仿学习中显著提升了样本效率。

ABSTRACT

The goal of imitation learning is for an apprentice to learn how to behave in a stochastic environment by observing a mentor demonstrating the correct behavior. Accurate prior knowledge about the correct behavior can reduce the need for demonstrations from the mentor. We present a novel approach to encoding prior knowledge about the correct behavior, where we assume that this prior knowledge takes the form of a Markov Decision Process (MDP) that is used by the apprentice as a rough and imperfect model of the mentor's behavior. Specifically, taking a Bayesian approach, we treat the value of a policy in this modeling MDP as the log prior probability of the policy. In other words, we assume a priori that the mentor's behavior is likely to be a high value policy in the modeling MDP, though quite possibly different from the optimal policy. We describe an efficient algorithm that, given a modeling MDP and a set of demonstrations by a mentor, provably converges to a stationary point of the log posterior of the mentor's policy, where the posterior is computed with respect to the "value based" prior. We also present empirical evidence that this prior does in fact speed learning of the mentor's policy, and is an improvement in our experiments over similar previous methods.

研究动机与目标

• 通过整合关于导师行为的先验知识，减少模仿学习所需的示范数量。
• 使用马尔可夫决策过程（MDP）将先验知识建模为基于价值的先验，以近似导师的行为。
• 开发一种高效算法，使其在该先验下收敛至策略对数后验分布的驻点。
• 通过实证验证，基于价值的先验可加速学习并优于现有方法。
• 在贝叶斯模仿学习框架中，形式化定义建模MDP中的策略价值作为策略上的先验分布。

提出的方法

• 该方法将先验知识建模为一个马尔可夫决策过程（MDP），即使该MDP不完美，也能近似导师的行为。
• 将该MDP中策略的价值视为该策略的对数先验概率，从而在先验上偏好高价值策略。
• 采用贝叶斯框架计算策略上的后验分布，其中基于价值的先验塑造后验分布。
• 提出一种高效优化算法，可保证收敛至对数后验分布的驻点。
• 该算法利用MDP的结构，实现对大规模状态空间的可扩展性，并降低样本复杂度。
• 通过学习在示范和基于价值的先验下后验概率最大的策略，将该方法应用于模仿学习。

实验结果

研究问题

• RQ1 从建模MDP中导出的基于价值的先验是否能提升模仿学习中的样本效率？
• RQ2 与其它先验编码方法相比，所提出的基于价值的先验在学习速度和准确性方面表现如何？
• RQ3 在基于价值的先验下，贝叶斯框架是否能收敛至有意义的解？
• RQ4 该方法是否能在不同环境和示范数据集上实现泛化？
• RQ5 当建模MDP存在不准确性时，基于价值的先验是否仍具有鲁棒性？

主要发现

• 基于价值的先验显著减少了有效策略学习所需的示范数量。
• 所提出的算法收敛至对数后验分布的驻点，确保了稳定的学习动态。
• 实证结果表明，该方法在样本效率方面优于基线模仿学习方法。
• 与均匀先验或启发式先验相比，基于价值的先验能更快收敛至高性能策略。
• 只要建模MDP能捕捉导师行为的一般结构，该方法对MDP的不准确性具有鲁棒性。
• 与先前使用类似先验形式的方法相比，该方法实现了更好的泛化性能和更低的样本复杂度。