[论文解读] Constrained Policy Optimization via Bayesian World Models

Yarden As, Ilnura Usmanova+2 more|arXiv (Cornell University)|Jan 24, 2022

Autonomous Vehicle Technology and Safety被引用 11

一句话总结

LAMBDA 是一种基于贝叶斯模型的强化学习算法，通过使用概率世界模型来平衡乐观探索与悲观约束处理，在安全关键环境中优化策略。它通过利用不确定性感知的轨迹滚动和增强拉格朗日优化，在 Safety-Gym SG6 基准上实现了最先进的样本效率和完美的约束满足。

ABSTRACT

Improving sample-efficiency and safety are crucial challenges when deploying reinforcement learning in high-stakes real world applications. We propose LAMBDA, a novel model-based approach for policy optimization in safety critical tasks modeled via constrained Markov decision processes. Our approach utilizes Bayesian world models, and harnesses the resulting uncertainty to maximize optimistic upper bounds on the task objective, as well as pessimistic upper bounds on the safety constraints. We demonstrate LAMBDA's state of the art performance on the Safety-Gym benchmark suite in terms of sample efficiency and constraint violation.

研究动机与目标

• 为解决现实强化学习中的样本效率低下与安全性问题，实现在高风险环境中的安全、高效策略学习。
• 将贝叶斯模型强化学习扩展至带有安全约束的约束性马尔可夫决策过程（CMDPs），其中安全约束通过代价函数建模。
• 通过利用模型不确定性实现乐观探索与悲观安全边界，提升样本效率并确保严格约束满足。
• 实现端到端的、基于观测的策略学习，无需环境动力学或安全规范的先验知识。

提出的方法

• LAMBDA 使用贝叶斯世界模型生成模型生成的轨迹，估计任务目标的乐观上界和安全约束的悲观上界。
• 它采用增强拉格朗日方法求解约束优化问题，同时整合任务奖励与安全代价惩罚。
• 通过可微分的演员-评论家框架优化策略，反向传播梯度通过世界模型的不确定性估计。
• 利用世界模型中的不确定性来引导探索（乐观）并强制执行安全（悲观），实现风险与性能的平衡。
• 通过在多个模型实例上进行蒙特卡洛采样，估计不确定性下的期望回报与约束违反情况。
• 将模型不确定性整合到规划过程中，避免依赖于短时域、短视规划（如 CEM-MPC 中的方法）。

实验结果

研究问题

• RQ1 贝叶斯世界模型能否有效用于在约束性MDP中平衡探索与安全？
• RQ2 对任务目标的乐观估计与对安全约束的悲观估计能否提升样本效率与约束满足？
• RQ3 在 Safety-Gym 基准上，LAMBDA 与模型自由和模型基基线方法相比，在安全性和样本效率方面表现如何？
• RQ4 模型不确定性在多大程度上能够实现无需真实世界约束违反的安全策略学习？

主要发现

• LAMBDA 在 Safety-Gym SG6 基准的所有任务中均实现了完美的约束满足，优于所有基线方法。
• LAMBDA 展现出卓越的样本效率，在学习速度和性能方面均优于模型自由和模型基基线方法。
• 在 PointGoal2 任务中，LAMBDA 达到了与不安全变体相当的性能，同时保持了安全性，凸显其在高风险、部分可观察环境中的处理能力。
• 消融研究显示，若移除悲观安全边界，将导致约束违反，证实了悲观组件的必要性。
• LAMBDA 显著优于 CEM-MPC 规划方法，证明了使用评论家与长时域规划相较于短视、拒绝式方法的优势。
• 该方法在 DoggoGoal1 任务中成功学习了复杂的运动策略，即使在状态信息部分可观测的情况下也表现出鲁棒性，表明其对有限状态可见性的强适应能力。