[论文解读] Enhance the Safety in Reinforcement Learning by ADRC Lagrangian Methods

Mingxu Zhang, Huicheng Zhang+3 more|arXiv (Cornell University)|Jan 26, 2026

Reinforcement Learning in Robotics被引用 0

一句话总结

本文提出基于 ADRC 的拉格朗日更新用于安全强化学习，利用扩展状态观测器估计干扰并平滑调控安全约束，在减少违规和成本方面优于经典和 PID 拉格朗日方法。

ABSTRACT

Safe reinforcement learning (Safe RL) seeks to maximize rewards while satisfying safety constraints, typically addressed through Lagrangian-based methods. However, existing approaches, including PID and classical Lagrangian methods, suffer from oscillations and frequent safety violations due to parameter sensitivity and inherent phase lag. To address these limitations, we propose ADRC-Lagrangian methods that leverage Active Disturbance Rejection Control (ADRC) for enhanced robustness and reduced oscillations. Our unified framework encompasses classical and PID Lagrangian methods as special cases while significantly improving safety performance. Extensive experiments demonstrate that our approach reduces safety violations by up to 74%, constraint violation magnitudes by 89%, and average costs by 67\%, establishing superior effectiveness for Safe RL in complex environments.

研究动机与目标

• 激励安全强化学习及经典和 PID 拉格朗日更新在振荡和参数敏感性方面的局限性。
• 提出将观测器纳入的 ADRC-Lagrangian 方法，以估计影响约束回报的干扰。
• 给出理论分析，表明 ADRC 能泛化 PID 和经典拉格朗日方法并降低相位滞后。
• 通过实证证明 ADRC-Lagrangian 方法在基准测试中显著降低约束违规、违规幅值和平均成本。

提出的方法

• 将 Safe RL 建模为一个闭环系统，其中拉格朗日乘子作用于约束回报。
• 引入一个排列的瞬态参考 r(t)，以平滑引导约束满足并避免过早的激进调整。
• 添加扩展状态观测器（ESO）以估计影响约束回报的总干扰。
• 使用基于 ADRC 的规则更新拉格朗日乘子，该规则结合对 r(t)、干扰估计及其导数的跟踪（Eq. 17）。
• 证明在特定参数映射下，经典 PID 拉格朗日更新是 ADRC 规则的一个特例。
• 给出一个基于环境敏感性界限（L1、L2、L3）的 ESO 增益 omega_o* 的有原则的下界，以保证稳定性。
• 在频域上讨论稳定性与干扰估计的优势（更低的估计误差和更小的相位滞后）。
• 描述将 ADRC-Lagrangian 更新整合到 Safe RL 算法中的实际要点，使用缩放目标以抑制大 lambda 的影响。

实验结果

研究问题

• RQ1 ADRC 基于的拉格朗日更新是否能在 Safe RL 中相比经典和 PID 方法减少振荡和相位滞后？
• RQ2 ADRC-Lagrangian 方法是否对参数变化具有鲁棒性，且能在不同的 Safe RL 算法和环境中适用？
• RQ3 基于 ADRC 的更新是否能泛化现有的拉格朗日方法，以及对训练稳定性和约束满足的影响？
• RQ4 在标准 Safe RL 基准测试中，ADRC-Lagrangian 的收敛表现如何？
• RQ5 ADRC-Lagrangian 是否在超越拉格朗日产法的状态-of-the-art Safe RL 方法中具有竞争力？

主要发现

• ADRC-Lagrangian 方法将约束违规率降低多达 74%。
• 它将违规幅值降低多达 89%。
• 平均成本下降多达 67%，同时保持有竞争力的奖励。
• 经典和 PID 拉格朗日更新被证明是 ADRC 框架的特例。
• 理论分析提供了 ESO 增益的下界，确保在各种环境中实现稳定的、无模型更新。
• 在 OmniSafe 基准测试上的实证结果显示多算法/任务中乘子动态更平滑、提升安全性。