[论文解读] Lyapunov Barrier Policy Optimization

Harshit Sikchi, Wenxuan Zhou+1 more|arXiv (Cornell University)|Mar 16, 2021

Reinforcement Learning in Robotics参考文献 30被引用 8

一句话总结

本文提出了一种新型的安全强化学习方法——李雅普诺夫屏障策略优化（LBPO），该方法利用基于李雅普诺夫函数的屏障函数，将策略更新限制在安全集合内，从而在训练过程中确保安全性。与最先进的基线方法（如CPO和SDDPG）相比，LBPO显著减少了约束违反次数，同时保持了具有竞争力的性能，并可通过屏障参数实现可调的风险规避。

ABSTRACT

Deploying Reinforcement Learning (RL) agents in the real-world require that the agents satisfy safety constraints. Current RL agents explore the environment without considering these constraints, which can lead to damage to the hardware or even other agents in the environment. We propose a new method, LBPO, that uses a Lyapunov-based barrier function to restrict the policy update to a safe set for each training iteration. Our method also allows the user to control the conservativeness of the agent with respect to the constraints in the environment. LBPO significantly outperforms state-of-the-art baselines in terms of the number of constraint violations during training while being competitive in terms of performance. Further, our analysis reveals that baselines like CPO and SDDPG rely mostly on backtracking to ensure safety rather than safe projection, which provides insight into why previous methods might not have effectively limit the number of constraint violations.

研究动机与目标

• 为解决深度强化学习中因探索无约束而导致的训练过程缺乏安全保证的问题，防止智能体造成损害。
• 开发一种在训练全过程而非仅在收敛时保证安全性的方法。
• 提供一种通过可调屏障参数控制智能体风险规避水平的机制。
• 分析为何先前的方法（如CPO和SDDPG）尽管声称安全，但在实践中仍存在大量约束违反。
• 证明可通过屏障函数实现安全策略更新，而无需依赖回溯恢复规则。

提出的方法

• LBPO将策略更新表述为一个带屏障函数的无约束优化问题，该屏障函数源自李雅普诺夫函数。
• 李雅普诺夫函数将基于轨迹的约束转化为基于状态的约束，从而实现高效且安全的策略更新。
• 屏障函数确保更新后的策略始终位于由李雅普诺夫函数定义的安全策略集合内，从而在每个训练步骤中都保证安全性。
• 该方法引入了一个可调参数β，用于控制策略更新的保守程度，使用户能够调节风险规避水平。
• LBPO采用一种改进的策略梯度更新方式，将屏障项融入其中，将策略更新投影到安全集合内，而无需依赖回溯机制。
• 该方法在具有不同Q函数估计误差的连续控制基准任务上进行了评估，证明了其对函数逼近误差的鲁棒性。

实验结果

研究问题

• RQ1 如何确保深度强化学习智能体在整个训练过程中都具备安全性，而不仅在收敛时？
• RQ2 为何现有的安全强化学习方法（如CPO和SDDPG）在实践中仍存在大量约束违反？
• RQ3 是否可以使用基于李雅普诺夫的屏障函数来实现安全策略更新，而无需依赖回溯恢复机制？
• RQ4 通过可调屏障参数，智能体的风险规避程度在多大程度上可以被控制？
• RQ5 LBPO在训练过程中对Q函数估计误差的鲁棒性如何？

主要发现

• LBPO在多个连续控制环境中将约束违反次数减少至接近零，显著优于CPO和SDDPG。
• 该方法对Q函数估计误差具有鲁棒性，在数据有限的情况下仍能保持低约束违反次数，而CPO和SDDPG则不然。
• 实证分析表明，CPO和SDDPG严重依赖回溯恢复规则才能实现接近约束满足，这导致训练过程中出现大量违反。
• 调节屏障参数β可使用户控制智能体的风险规避水平，β值越大，策略越保守。
• LBPO在标准强化学习基准上实现了具有竞争力的性能，同时保持了强大的安全保证，适用于实际部署。
• 消融研究证实，屏障函数是安全性的主要驱动因素，而非恢复机制，验证了该方法的设计原则。