[论文解读] Bayesian Policy Optimization for Model Uncertainty

Gilwoo Lee, Brian Hou+4 more|arXiv (Cornell University)|Oct 1, 2018

Reinforcement Learning in Robotics参考文献 24被引用 4

一句话总结

该论文提出贝叶斯策略优化（BPO），一种批量策略优化方法，通过在潜在模型参数的信念分布上进行推理，直接为连续贝叶斯自适应马尔可夫决策过程（BAMDPs）学习策略。通过在神经网络中解耦状态与信念编码，并在离线训练期间使用黑箱贝叶斯滤波器，BPO在模型不确定性下的连续控制基准任务中，性能优于非信念基的鲁棒强化学习方法，并与最先进POMDP求解器相当。

ABSTRACT

Addressing uncertainty is critical for autonomous systems to robustly adapt to the real world. We formulate the problem of model uncertainty as a continuous Bayes-Adaptive Markov Decision Process (BAMDP), where an agent maintains a posterior distribution over latent model parameters given a history of observations and maximizes its expected long-term reward with respect to this belief distribution. Our algorithm, Bayesian Policy Optimization, builds on recent policy optimization algorithms to learn a universal policy that navigates the exploration-exploitation trade-off to maximize the Bayesian value function. To address challenges from discretizing the continuous latent parameter space, we propose a new policy network architecture that encodes the belief distribution independently from the observable state. Our method significantly outperforms algorithms that address model uncertainty without explicitly reasoning about belief distributions and is competitive with state-of-the-art Partially Observable Markov Decision Process solvers.

研究动机与目标

• 解决系统动力学或奖励函数部分未知的连续控制环境中存在的模型不确定性问题。
• 开发一种可扩展的、端到端的深度强化学习方法，显式地对潜在参数的信念分布进行推理，而非依赖于点估计。
• 通过高效的信念状态表示与策略学习，克服连续BAMDPs中信念空间的指数级增长问题。
• 证明直接在信念状态上进行策略优化，可实现与最先进POMDP求解器相当的性能，同时相比蒙特卡洛树搜索或基于点的值函数近似方法更具可扩展性。

提出的方法

• BPO将问题形式化为连续BAMDP，其中智能体使用黑箱贝叶斯滤波器维护对潜在模型参数的后验信念。
• 策略网络接收状态-信念联合输入，通过独立的状态与信念编码器解耦其表征并降低维度。
• 在离线训练期间，BPO在多个采样的潜在模型上模拟策略，沿模拟轨迹更新信念，而无需对动作或观测进行分支。
• 该方法利用批量策略优化（如TRPO）直接优化贝叶斯值函数，以在信念不确定性下最大化长期预期奖励。
• 通过将连续潜在参数空间离散化来构建信念表示，信念向量与状态嵌入独立编码。
• 该方法对策略优化算法的选择不敏感，可与现代方法（如PPO）无缝集成。

实验结果

研究问题

• RQ1 是否可以端到端训练深度策略网络，直接在连续BAMDP中优化贝叶斯值函数，而无需显式值函数近似？
• RQ2 在存在模型不确定性的情况下，信念感知策略学习与使用模型参数最大似然估计（MLE）的方法相比表现如何？
• RQ3 独立的状态与信念编码在多大程度上可缓解高维信念空间中的维度灾难问题？
• RQ4 BPO在具有潜在参数不确定性的连续控制基准任务中，是否能达到与最先进POMDP求解器相当的性能？

主要发现

• 在HalfCheetah环境中，BPO显著优于EPOpt和UP-MLE，在多种MDP下均实现了更高的平均回报。
• 在Ant环境中，BPO比UP-MLE更快地降低信念熵，使信念分布更快收敛至单峰状态。
• 尽管未使用值函数近似或树搜索，BPO在连续控制基准任务中实现了与最先进POMDP求解器相当的性能。
• 该方法在潜在参数空间离散化程度增加时表现出良好的可扩展性，但超过最优离散化水平后性能下降，表明需要自适应分辨率。
• 在信念快速收敛的环境中（如低噪声的确定性系统），即使非信念基方法（如UP-MLE）也能表现良好，表明信念推理在缓慢收敛或高度不确定的场景中最为关键。