[论文解读] Variational Bayesian Reinforcement Learning with Regret Bounds

Brendan O’Donoghue|arXiv (Cornell University)|Jul 25, 2018

Advanced Bandit Algorithms Research参考文献 100被引用 15

一句话总结

本文提出K-learning，一种变分贝叶斯强化学习算法，通过一种新颖的'知识值'（K值）同时编码期望回报与认知不确定性。通过优化风险偏好型指数效用函数，并在K值上遵循玻尔兹曼策略，该方法实现了$\tilde{O}(L\sqrt{SAT})$的贝叶斯后悔界，与已知最佳的Thompson采样结果一致，且接近信息论下界。

ABSTRACT

In reinforcement learning the Q-values summarize the expected future rewards that the agent will attain. However, they cannot capture the epistemic uncertainty about those rewards. In this work we derive a new Bellman operator with associated fixed point we call the `knowledge values'. These K-values compress both the expected future rewards and the epistemic uncertainty into a single value, so that high uncertainty, high reward, or both, can yield high K-values. The key principle is to endow the agent with a risk-seeking utility function that is carefully tuned to balance exploration and exploitation. When the agent follows a Boltzmann policy over the K-values it yields a Bayes regret bound of $ ilde O(L \sqrt{S A T})$, where $L$ is the time horizon, $S$ is the total number of states, $A$ is the number of actions, and $T$ is the number of elapsed timesteps. We show deep connections of this approach to the soft-max and maximum-entropy strands of research in reinforcement learning.

研究动机与目标

• 通过将认知不确定性纳入价值函数，解决贝叶斯强化学习中的探索-利用权衡问题。
• 开发一种可计算的、基于模型的算法，保持对MDP的后验信念，并支持高效的策略优化。
• 推导出与最先进性能匹配的后悔界，同时通过效用最大化自然地整合熵正则化。
• 提供一个原则性框架，使探索由不确定性驱动，避免使用临时设计的奖励机制。

提出的方法

• 引入K值作为新型贝尔曼算子的不动点，将期望未来回报与认知不确定性压缩为单一标量。
• 使用指数效用函数诱导风险偏好行为，偏好高不确定性或高期望回报的动作。
• 推导出对偶优化问题（式27），通过温度调度的软最大函数实现K值上策略的高效计算。
• 利用强对偶性与拉格朗日松弛推导出针对后悔界优化的策略更新规则。
• 通过温度参数$\tau_t$动态控制熵正则化，该参数被优化以平衡探索与利用。
• 应用基于抽屉原理的引理（引理6）以界定累积倒数访问次数，从而支持最终的后悔分析。

实验结果

研究问题

• RQ1 能否设计一种显式编码认知不确定性的风险偏好型效用函数，从而获得可计算且后悔最优的强化学习算法？
• RQ2 如何从原则性效用最大化框架中推导出K值上的软最大策略，以确保最优探索？
• RQ3 基于模型的贝叶斯强化学习算法在值估计中引入不确定性时，所能达到的最紧致的贝叶斯后悔界是什么？
• RQ4 软Q-learning中的熵奖励能否作为效用最大化的结果而非固定超参数推导得出？
• RQ5 与Thompson采样及其他最先进贝叶斯强化学习算法相比，所提方法在后悔性能上表现如何？

主要发现

• 所提出的K-learning算法实现了$\tilde{O}(L\sqrt{SAT})$的贝叶斯后悔界，与Thompson采样已知最佳结果在对数因子内一致。
• 该后悔界与信息论下界$\Omega(\sqrt{LSAT})$相差一个$\sqrt{L}$因子，表明其近乎最优。
• 策略中的熵正则化并非固定超参数，而是通过温度$\tau_t$动态控制，该参数被优化以实现后悔最小化。
• K值的表述自然统一了期望回报与认知不确定性，实现单值表示，支持风险偏好型探索。
• 理论分析证实，从对偶优化问题导出的策略在强对偶性下满足推导出的后悔界。
• 该方法通过指数效用最大化视角，建立了软Q-learning、最大熵强化学习与贝叶斯探索之间的深层联系。