[论文解读] A Bayesian Approach to Robust Reinforcement Learning

Esther Derman, Daniel J. Mankowitz+2 more|arXiv (Cornell University)|May 20, 2019

Reinforcement Learning in Robotics参考文献 31被引用 20

一句话总结

本文提出一种基于不确定性的贝叶斯强化学习方法，采用不确定性鲁棒贝尔曼方程（URBE），在在线学习过程中动态调整不确定性集，以减少保守性同时保持鲁棒性。DQN-URBE算法将该方法扩展至高维环境，相较于固定不确定性集的鲁棒方法，展现出更快的动态变化适应能力与更优的性能权衡。

ABSTRACT

Robust Markov Decision Processes (RMDPs) intend to ensure robustness with respect to changing or adversarial system behavior. In this framework, transitions are modeled as arbitrary elements of a known and properly structured uncertainty set and a robust optimal policy can be derived under the worst-case scenario. In this study, we address the issue of learning in RMDPs using a Bayesian approach. We introduce the Uncertainty Robust Bellman Equation (URBE) which encourages safe exploration for adapting the uncertainty set to new observations while preserving robustness. We propose a URBE-based algorithm, DQN-URBE, that scales this method to higher dimensional domains. Our experiments show that the derived URBE-based strategy leads to a better trade-off between less conservative solutions and robustness in the presence of model misspecification. In addition, we show that the DQN-URBE algorithm can adapt significantly faster to changing dynamics online compared to existing robust techniques with fixed uncertainty sets.

研究动机与目标

• 解决传统鲁棒MDP（RMDP）因采用矩形不确定性集和固定最坏情况假设而固有的过度保守问题。
• 实现在RMDP中在线、数据驱动的不确定性集学习，以适应动态变化。
• 开发一种可扩展的贝叶斯算法，在高维领域中平衡鲁棒性与性能。
• 通过引入基于方差的探索奖励，减少对悲观规划的依赖，以检测对抗性变化。

提出的方法

• 提出不确定性鲁棒贝尔曼方程（URBE），作为不确定性贝尔曼方程（UBE）的贝叶斯扩展，通过建模后验方差来引导探索。
• 使用动态规划估计URBE，实现基于新观测的不确定性集迭代更新。
• 从Q值后验分布中提取方差奖励，以检测对抗性行为变化并调整鲁棒性水平。
• 开发DQN-URBE，一种集成URBE的深度Q网络变体，实现在连续和高维环境中的可扩展、在线学习。
• 通过使用贝叶斯推断实时更新不确定性集，维持鲁棒性，避免固定或离线构建不确定性集。

实验结果

研究问题

• RQ1 贝叶斯框架能否在保持模型误设下的鲁棒性的同时，降低鲁棒MDP的保守性？
• RQ2 在强化学习过程中，如何以数据驱动方式在线学习并适应不确定性集？
• RQ3 引入后验方差在多大程度上能改善探索并减少鲁棒强化学习中的过度悲观？
• RQ4 基于URBE的深度强化学习算法能否比固定不确定性集的鲁棒方法更快适应动态变化？

主要发现

• DQN-URBE在平均回报和收敛速度方面均优于标准鲁棒DQN，实现了更优的鲁棒性与性能权衡。
• 在动态变化的分布偏移后，算法能显著更快恢复，训练曲线中的垂直线表明扰动后迅速恢复。
• 基于URBE的策略初始收敛较慢，但能达到比鲁棒DQN更高的最大奖励，后者在变化后无法恢复。
• URBE中的方差奖励实现了安全探索与自适应鲁棒性，相比传统RMDP规划，显著降低了过度保守性。
• URBE在高维领域中表现出有效扩展性，包括CartPole和火星车环境，展示了实际适用性。