[论文解读] A Lyapunov-based Approach to Safe Reinforcement Learning

Yinlam Chow, Ofir Nachum+2 more|arXiv (Cornell University)|May 20, 2018

Reinforcement Learning in Robotics参考文献 28被引用 78

一句话总结

这篇论文将安全强化学习表述为约束性马尔可夫决策过程，并引入基于李亚普诺夫的框架，在优化性能的同时保证安全，包含 Safe DP 与 RL 算法（SPI、SVI、Safe DQN 和 Safe DPI）。

ABSTRACT

In many real-world reinforcement learning (RL) problems, besides optimizing the main objective function, an agent must concurrently avoid violating a number of constraints. In particular, besides optimizing performance it is crucial to guarantee the safety of an agent during training as well as deployment (e.g. a robot should avoid taking actions - exploratory or not - which irrevocably harm its hardware). To incorporate safety in RL, we derive algorithms under the framework of constrained Markov decision problems (CMDPs), an extension of the standard Markov decision problems (MDPs) augmented with constraints on expected cumulative costs. Our approach hinges on a novel \emph{Lyapunov} method. We define and present a method for constructing Lyapunov functions, which provide an effective way to guarantee the global safety of a behavior policy during training via a set of local, linear constraints. Leveraging these theoretical underpinnings, we show how to use the Lyapunov approach to systematically transform dynamic programming (DP) and RL algorithms into their safe counterparts. To illustrate their effectiveness, we evaluate these algorithms in several CMDP planning and decision-making tasks on a safety benchmark domain. Our results show that our proposed method significantly outperforms existing baselines in balancing constraint satisfaction and performance.

研究动机与目标

• 将模型安全建模为带累积成本约束的 CMDP。
• 开发基于李亚普诺夫函数的方法，在训练和部署期间保证安全。
• 通过李亚普诺夫约束将 DP 和 RL 算法转换为安全的对应版本。
• 提供适用于未知模型和大状态-动作空间的可扩展安全算法。
• 在规划和强化学习任务上，经验性地展示改进的安全-性能平衡。

提出的方法

• 将带累积约束成本的 CMDP 定义为在安全约束下尽量小化成本的目标。
• 在基线框架中引入李亚普诺夫函数 L，以证明安全性和可行性。
• 提出基于线性规划的李亚普诺夫函数构造，使用基线策略和对策略偏差的界限。
• 推导带引导的李亚普诺夫更新的安全 DP 算法（Safe Policy Iteration、Safe Value Iteration）。
• 通过函数逼近与策略蒸馏开发可扩展的安全 RL 方法（Safe DQN、Safe DPI）。
• 给出理论结果，将李亚普诺夫可行性与 CMDP 最优性联系起来，在一个技术性假设1 下。

实验结果

研究问题

• RQ1 李亚普诺夫基方法在学习和执行过程中能否保证 CMDP 的安全？
• RQ2 在何种条件下，李亚普诺夫诱导的策略集合包含一个最优的 CMDP 策略？
• RQ3 如何将 DP/RL 转换为在保持可行性的同时改进成本的安全版本？

主要发现

• 李亚普诺夫方法在假设1下产生的可行策略集合包含一个最优策略。
• 使用 LP 推导的李亚普诺夫函数的安全 Bellman 操作符在理论上导致收敛到 CMDP 最优解。
• SPI 与 SVI 在规划实验中展示出一致的可行性和单调改进。
• Safe RL 算法（Safe DQN、Safe DPI）在安全性和性能之间取得平衡，且可扩展到大规模空间。
• 实证结果表明安全 DP 方法在安全约束的规划和 RL 任务中优于基线。
• 在学习过程中对李亚普诺夫函数进行自举更新，在各次迭代中维持安全。