[论文解读] (More) Efficient Reinforcement Learning via Posterior Sampling

Ian Osband, Dan Russo+1 more|arXiv (Cornell University)|Jun 4, 2013

Advanced Bandit Algorithms Research参考文献 19被引用 246

一句话总结

本文提出了后验采样强化学习（PSRL），这是一种可证明高效的算法，通过从MDP的后验分布中采样并执行所采样MDP的最优策略来选择策略。该算法实现了$\tilde{O}(\tau S\tilde{S}\tilde{A}\tilde{T})$的遗憾边界——是首个针对非乐观算法的此类边界——并在模拟中优于最先进的乐观方法（如UCRL2），展现出更高的样本效率和实际性能。

ABSTRACT

Most provably-efficient learning algorithms introduce optimism about poorly-understood states and actions to encourage exploration. We study an alternative approach for efficient exploration, posterior sampling for reinforcement learning (PSRL). This algorithm proceeds in repeated episodes of known duration. At the start of each episode, PSRL updates a prior distribution over Markov decision processes and takes one sample from this posterior. PSRL then follows the policy that is optimal for this sample during the episode. The algorithm is conceptually simple, computationally efficient and allows an agent to encode prior knowledge in a natural way. We establish an $ ilde{O}(τS \sqrt{AT})$ bound on the expected regret, where $T$ is time, $τ$ is the episode length and $S$ and $A$ are the cardinalities of the state and action spaces. This bound is one of the first for an algorithm not based on optimism, and close to the state of the art for any reinforcement learning algorithm. We show through simulation that PSRL significantly outperforms existing algorithms with similar regret bounds.

研究动机与目标

• 开发一种不依赖乐观探索的可证明高效的强化学习算法。
• 为基于后验采样的MDP方法建立有限时间遗憾边界。
• 证明PSRL在计算上高效，并能自然地融入先验知识。
• 通过模拟表明，PSRL在遗憾边界相近的现有算法中表现显著更优。
• 为后验采样作为强化学习中乐观探索的可行替代方案提供理论和实证依据。

提出的方法

• PSRL在固定长度的回合中运行，每个回合开始时从后验分布中采样一个MDP。
• 随后，为所采样的MDP计算并执行最优策略，持续整个回合。
• 该算法维护对MDP转移动态和奖励分布的先验，并随观测数据顺序更新。
• 遗憾分析利用集中不等式，并对基于后验方差的探索奖励总和进行有界。
• 该方法将学习算法与理论分析分离，支持灵活设计并保证稳健性能。
• 采用共轭先验（转移使用狄利克雷分布，奖励使用正态-逆伽马分布），以实现高效的后验更新与采样。

实验结果

研究问题

• RQ1 后验采样是否能在不依赖乐观性的情况下实现强化学习中的可证明高效学习？
• RQ2 PSRL在有限时间内的遗憾边界如何表示，其与回合长度、状态空间和动作空间大小以及时间范围的关系是什么？
• RQ3 在遗憾和学习速度方面，PSRL与UCRL2等乐观算法相比表现如何？
• RQ4 PSRL能否有效整合先验知识并保持计算效率？
• RQ5 在具有挑战性的MDP中，后验采样是否比基于乐观性的方法具有更高的样本效率？

主要发现

• PSRL实现了$\tilde{O}(\tau S\tilde{S}\tilde{A}\tilde{T})$的期望遗憾边界，是首个针对非乐观强化学习算法的此类边界之一。
• 在RiverSwim MDP中，无论是在回合制还是无限时域设置下，PSRL的总遗憾均比UCRL2降低超过90%。
• 对于随机生成的10状态、5动作MDP，PSRL在10,000步内的平均遗憾为$7.30 \times 10^3$，而UCRL2为$1.13 \times 10^5$。
• 在回合制和非回合制设置下，PSRL均大幅优于UCRL2，且遗憾随时间收敛更快。
• 模拟结果表明，即使先验设定不准确（如使用扩散先验），PSRL的性能依然稳健。
• PSRL的遗憾边界不依赖于先验结构，且由于每个回合仅需一次策略优化，因此计算效率高。