[论文解读] Expert-Supervised Reinforcement Learning for Offline Policy Learning and Evaluation

Aaron Sonabend-W, Junwei Lu+3 more|arXiv (Cornell University)|Jun 23, 2020

Reinforcement Learning in Robotics参考文献 24被引用 9

一句话总结

该论文提出专家监督强化学习（ESRL），一种基于贝叶斯离线强化学习的框架，利用假设检验仅在数据支持时才安全地偏离专家行为。通过后验分布和离策略值函数估计，实现具有不确定性感知的可解释策略，其遗憾边界与风险规避程度和数据质量无关。

ABSTRACT

Offline Reinforcement Learning (RL) is a promising approach for learning optimal policies in environments where direct exploration is expensive or unfeasible. However, the adoption of such policies in practice is often challenging, as they are hard to interpret within the application context, and lack measures of uncertainty for the learned policy value and its decisions. To overcome these issues, we propose an Expert-Supervised RL (ESRL) framework which uses uncertainty quantification for offline policy learning. In particular, we have three contributions: 1) the method can learn safe and optimal policies through hypothesis testing, 2) ESRL allows for different levels of risk averse implementations tailored to the application context, and finally, 3) we propose a way to interpret ESRL's policy at every state through posterior distributions, and use this framework to compute off-policy value function posteriors. We provide theoretical guarantees for our estimators and regret bounds consistent with Posterior Sampling for RL (PSRL). Sample efficiency of ESRL is independent of the chosen risk aversion threshold and quality of the behavior policy.

研究动机与目标

• 解决高风险应用场景中离线强化学习缺乏可解释性和不确定性量化的问题。
• 克服在无法或不道德直接与环境交互时的策略评估与安全探索挑战。
• 通过基于数据可靠性的偏差自定义水平，实现风险规避型策略学习。
• 提供反映不确定性的后验基础策略决策，支持临床决策制定。
• 开发理论基础坚实的离策略值函数估计方法，实现一致且无偏的估计。

提出的方法

• 将贝叶斯强化学习与假设检验相结合，基于统计证据决定是否偏离专家策略。
• 利用Q值的后验分布量化不确定性，并计算策略动作的可信区间。
• 提出原假设：替代动作优于专家动作，并使用后验样本进行检验。
• 构建一种策略，根据假设检验的p值在专家策略与学习到的最优动作之间进行选择。
• 通过后预测分布计算离策略值函数的后验分布，实现对任意策略的不确定性感知评估。
• 通过贝叶斯遗憾边界 $\tilde{\mathcal{O}}(\tau S\sqrt{AT})$ 确保理论保证，且与风险规避程度和行为策略质量无关。

实验结果

研究问题

• RQ1 假设检验能否有效用于确定在离线强化学习中何时偏离专家行为，以确保安全性和可靠性？
• RQ2 如何量化值函数估计中的不确定性，并加以利用以提升策略的可解释性和决策质量？
• RQ3 该方法的性能在多大程度上依赖于行为策略的质量或数据覆盖程度？
• RQ4 Q值的后验分布能否在低数据环境下提供有意义且可解释的策略决策洞察？
• RQ5 与最先进的离线强化学习基线相比，该方法在安全性、泛化能力和值函数估计精度方面表现如何？

主要发现

• ESRL实现了与风险规避阈值和行为策略质量无关的贝叶斯遗憾边界 $\tilde{\mathcal{O}}(\tau S\sqrt{AT})$。
• 在低数据状态下，Q值的后验分布方差较高，假设检验无法拒绝原假设，导致策略保留专家动作。
• 在高数据状态下，更窄的后验分布使假设检验更频繁地拒绝原假设，从而在数据支持时安全地偏离专家行为。
• 该方法通过后验分布和可信区间实现可解释的策略决策，使临床医生能够评估风险和可靠性。
• 在败血症治疗基准测试中，ESRL在安全性和值函数估计方面优于DQN、BCQ、DQNE和BC，尤其在数据稀缺导致泛化受限时表现更优。
• 在某些状态簇中，偏离医生策略被证明具有显著危害，而ESRL因高不确定性避免了此类偏离，展现出鲁棒性。