[论文解读] A Greedy Approximation of Bayesian Reinforcement Learning with Probably Optimistic Transition Model

Kenji Kawaguchi, Mauricio Araya|arXiv (Cornell University)|Mar 13, 2013

Reinforcement Learning in Robotics参考文献 17被引用 7

一句话总结

本文提出了一种贝叶斯强化学习的贪心近似方法，通过使用'可能乐观'的转移模型，在不同参数设置下实现稳健性能。该方法实现了多项式样本复杂度，并在先验分布合理准确时优于现有算法，但由于其贪心特性，在先验严重误设时效果较差。

ABSTRACT

Bayesian Reinforcement Learning (RL) is capable of not only incorporating domain knowledge, but also solving the exploration-exploitation dilemma in a natural way. As Bayesian RL is intractable except for special cases, previous work has proposed several approximation methods. However, these methods are usually too sensitive to parameter values, and finding an acceptable parameter setting is practically impossible in many applications. In this paper, we propose a new algorithm that greedily approximates Bayesian RL to achieve robustness in parameter space. We show that for a desired learning behavior, our proposed algorithm has a polynomial sample complexity that is lower than those of existing algorithms. We also demonstrate that the proposed algorithm naturally outperforms other existing algorithms when the prior distributions are not significantly misleading. On the other hand, the proposed algorithm cannot handle greatly misspecified priors as well as the other algorithms can. This is a natural consequence of the fact that the proposed algorithm is greedier than the other algorithms. Accordingly, we discuss a way to select an appropriate algorithm for different tasks based on the algorithms' greediness. We also introduce a new way of simplifying Bayesian planning, based on which future work would be able to derive new algorithms.

研究动机与目标

• 解决现有贝叶斯强化学习近似方法对超参数设置的敏感性问题。
• 开发一种贝叶斯强化学习的贪心近似方法，以在参数空间中保持稳健性。
• 在保持准确先验下强性能的同时，实现低于先前方法的样本复杂度。
• 分析贝叶斯强化学习近似中贪心性与稳健性之间的权衡。
• 提出一种简化的贝叶斯规划框架，以促进未来算法的开发。

提出的方法

• 通过在不确定性下选择最可能的转移动态，构建一个'可能乐观'的转移模型。
• 采用贪心策略选择方法，优先选择基于乐观模型具有高期望回报的动作。
• 通过在转移概率上使用置信区间来限制探索步数，确保多项式样本复杂度。
• 通过贝叶斯更新整合先验知识，但应用贪心启发式方法以降低对先验误设的敏感性。
• 通过聚焦于最可能的转移，简化贝叶斯规划，降低计算开销。
• 通过最小化对精细调校超参数的依赖，使算法对参数选择具有鲁棒性。

实验结果

研究问题

• RQ1 如何以对参数调优不敏感的方式近似贝叶斯强化学习？
• RQ2 具有可能乐观转移模型的贪心贝叶斯强化学习近似方法的样本复杂度是多少？
• RQ3 在先验准确时，所提算法与现有方法的性能相比如何？
• RQ4 贪心性在多大程度上限制了算法处理严重误设先验的能力？
• RQ5 能否推导出一种简化的贝叶斯规划框架，以支持未来算法改进？

主要发现

• 所提算法实现了多项式样本复杂度，低于现有贝叶斯强化学习近似方法的复杂度。
• 当先验分布不显著误导时，该算法优于其他现有算法。
• 由于其贪心特性，该算法在先验严重误设时性能下降，符合预期。
• 该方法对参数设置具有鲁棒性，使其在实际应用中更具实用性。
• 贪心近似在保持有利先验条件下强学习性能的同时，实现了高效计算。
• 本文提出了一种贝叶斯规划的新简化形式，可能成为未来算法开发的基础。