[论文解读] Beyond Confidence Regions: Tight Bayesian Ambiguity Sets for Robust MDPs

Marek Petrik, Reazul Hasan Russell|arXiv (Cornell University)|Feb 20, 2019

Reinforcement Learning in Robotics参考文献 30被引用 19

一句话总结

该论文提出RSVF，一种贝叶斯方法，用于在鲁棒MDP中构建更紧致的模糊集，无需依赖置信区域，通过分层先验和策略特定的优化。该方法在不引发安全违规的情况下，显著提高了策略回报的下界估计，相较于Hoeffding和贝叶斯可信区间基线方法，在无信息先验和有信息先验设置下均表现更优。

ABSTRACT

Robust MDPs (RMDPs) can be used to compute policies with provable worst-case guarantees in reinforcement learning. The quality and robustness of an RMDP solution are determined by the ambiguity set---the set of plausible transition probabilities---which is usually constructed as a multi-dimensional confidence region. Existing methods construct ambiguity sets as confidence regions using concentration inequalities which leads to overly conservative solutions. This paper proposes a new paradigm that can achieve better solutions with the same robustness guarantees without using confidence regions as ambiguity sets. To incorporate prior knowledge, our algorithms optimize the size and position of ambiguity sets using Bayesian inference. Our theoretical analysis shows the safety of the proposed method, and the empirical results demonstrate its practical promise.

研究动机与目标

• 解决传统RMDP方法因依赖由集中不等式导出的置信区域而导致的过度保守问题。
• 开发一种数据驱动的贝叶斯框架，整合先验知识以收紧模糊集并提升鲁棒策略保证。
• 在批量强化学习中提供更强、更实用的鲁棒性保证，同时不牺牲安全性。
• 证明模糊集不仅可以针对覆盖性进行优化，还可针对最优策略进行优化，从而减少保守性。

提出的方法

• 提出RSVF（鲁棒安全价值函数），一种通过贝叶斯推断和策略特定目标，迭代优化模糊集大小与位置的方法。
• 使用分层贝叶斯模型编码对转移概率的先验知识，实现更紧致且更具信息量的模糊集。
• 用策略自适应的模糊集替代标准置信区域，这些模糊集无需同时覆盖所有策略，从而降低保守性。
• 采用新推导的L1集中不等式，确保在有限样本条件下的理论安全保证。
• 在反馈循环中整合RMDP求解与模糊集优化，通过后验分布的迭代精炼来改进边界。
• 以贝叶斯可信区间（BCI）作为基线，通过引入策略感知的适应性改进其紧致性。

实验结果

研究问题

• RQ1 在保持强有限样本安全保证的前提下，能否构建比置信区域更紧致的RMDP模糊集？
• RQ2 如何有效整合领域先验知识到模糊集构建中，以提升鲁棒性并减少保守性？
• RQ3 若将模糊集优化目标从同时覆盖所有策略改为针对最优策略，是否能在批量RL设置中带来性能提升？
• RQ4 贝叶斯推断方法能否产生比分布无关的置信区域更紧致的策略回报下界？

主要发现

• RSVF在策略回报下界估计上显著优于基于Hoeffding的置信区域和贝叶斯可信区间（BCI），尤其在有信息先验时表现更优。
• 在RiverSwim环境中使用均匀先验时，尽管所有方法均实现0%安全违规，RSVF相比BCI和Hoeffding边界显著降低了遗憾。
• 在指数种群模型中使用有信息先验时，RSVF进一步收紧了边界，证明了先验信息整合的价值。
• 所有方法，包括RSVF，在实验中均保持0%安全违规，验证了理论安全保证的有效性。
• 该方法在实践中仍保持保守性，提示可通过非矩形或L2形状的模糊集进一步改进。