[論文レビュー] Enhance the Safety in Reinforcement Learning by ADRC Lagrangian Methods

Mingxu Zhang, Huicheng Zhang+3 more|arXiv (Cornell University)|Jan 26, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

この論文は ADRC ベースのラグランジュ更新を Safe RL に導入し、拡張状態オブザーバを用いて撹乱を推定し、安全性制約を滑らかに調整する。古典的および PID ラグランジュ法と比較して違反の削減とコスト低減において優れている。

ABSTRACT

Safe reinforcement learning (Safe RL) seeks to maximize rewards while satisfying safety constraints, typically addressed through Lagrangian-based methods. However, existing approaches, including PID and classical Lagrangian methods, suffer from oscillations and frequent safety violations due to parameter sensitivity and inherent phase lag. To address these limitations, we propose ADRC-Lagrangian methods that leverage Active Disturbance Rejection Control (ADRC) for enhanced robustness and reduced oscillations. Our unified framework encompasses classical and PID Lagrangian methods as special cases while significantly improving safety performance. Extensive experiments demonstrate that our approach reduces safety violations by up to 74%, constraint violation magnitudes by 89%, and average costs by 67\%, establishing superior effectiveness for Safe RL in complex environments.

研究の動機と目的

• Safe RL を動機づけ、古典的および PID ラグランジュ更新の振動とパラメータ感度の限界を述べる。
• 拡張状態オブザーバを組み込んで制約リターンに影響を与える撹乱を推定する ADRC-ラグランジュ法を提案する。
• ADRC が PID および古典的ラグランジュ法を一般化し、位相遅れを低減することを示す理論分析を提供する。
• ベンチマーク全体で制約違反、違反の大きさ、平均コストを著しく低減する empirical 実証を示す。

提案手法

• 制約リターンに作用するラグランジュ乗数を用いた閉ループ系として Safe RL をモデル化。
• 制約遵守を滑らかに導くための Arranged transient reference r(t) を導入し、初期の過度な調整を避ける。
• 制約リターンに影響する総撹乱を推定する拡張状態オブザーバ (ESO) を追加。
• r(t) の追跡、撹乱推定値とその微分を組み合わせた ADRC 基づく更新規則でラグランジュ乗数を更新（Eq. 17）。
• 古典的 PID ラグランジュ更新が、特定のパラメータ写像の下で ADRC ルールの特殊ケースであることを示す。
• 安定性を保証する ESO 増分の原理的下限 omega_o* を、環境感度の境界（L1, L2, L3）に基づいて提供。
• 周波数領域での安定性と撹乱推定の利点（推定誤差低下、位相遅れの低減）について論じる。
• λ の大きさの影響を抑えるためのスケーリングされた目的関数を用いて ADRC-Lagrangian 更新を Safe RL アルゴリズムへ統合する実践的側面を説明。

実験結果

リサーチクエスチョン

• RQ1 ADRC-based ラグランジュ更新は、古典的および PID アプローチと比較して Safe RL における振動と位相遅れを低減できるか。
• RQ2 パラメータ変動に対して堅牢で、異なる Safe RL アルゴリズムや環境に適用可能か。
• RQ3 ADRC ベースの更新は既存のラグランジュ法を一般化し、学習の安定性と制約遵守にどのように影響するか。
• RQ4 標準的な Safe RL ベンチマークでの収束時の ADRC-Lagrangian の性能比較。
• RQ5 ADRC-Lagrangian はラグランジュベース以外の最先端 Safe RL 法と比較して競争力があるか。

主な発見

• ADRC-Lagrangian methods reduce constraint-violation rates by up to 74%.
• They lower violation magnitudes by up to 89%.
• Average costs are decreased by up to 67% while maintaining competitive rewards.
• Classical and PID Lagrangian updates are shown to be special cases of the ADRC framework.
• Theoretical analysis provides a lower bound for the ESO gain, ensuring stable, model-free updates across environments.
• Empirical results on OmniSafe benchmarks show smoother multiplier dynamics and improved safety across multiple algorithms and tasks.