[論文レビュー] Responsive Safety in Reinforcement Learning by PID Lagrangian Methods

Adam Stooke, Joshua Achiam+1 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Control Systems Optimization参考文献 34被引用数 44

ひとこと要約

本論文は、制約付き強化学習におけるラグランジュ乗数のPIDベースの更新を導入し、安全性制約の満足度と深層強化学習におけるロバスト性を向上させる。

ABSTRACT

Lagrangian methods are widely used algorithms for constrained optimization problems, but their learning dynamics exhibit oscillations and overshoot which, when applied to safe reinforcement learning, leads to constraint-violating behavior during agent training. We address this shortcoming by proposing a novel Lagrange multiplier update method that utilizes derivatives of the constraint function. We take a controls perspective, wherein the traditional Lagrange multiplier update behaves as \emph{integral} control; our terms introduce \emph{proportional} and \emph{derivative} control, achieving favorable learning dynamics through damping and predictive measures. We apply our PID Lagrangian methods in deep RL, setting a new state of the art in Safety Gym, a safe RL benchmark. Lastly, we introduce a new method to ease controller tuning by providing invariance to the relative numerical scales of reward and cost. Our extensive experiments demonstrate improved performance and hyperparameter robustness, while our algorithms remain nearly as simple to derive and implement as the traditional Lagrangian approach.

研究の動機と目的

• 制約付きRLにおける従来のラグランジュ更新で観察される不安定さと振動を動機付ける。
• ラグランジュ乗数に対する比例積分微分（PID）更新を提案し、振動を減衰させ、応答性を向上させる。
• 深層RLに適用し、PPOと統合してより安全で頑健なトレーニングを実現する。
• 報酬とコストの尺度不変性機構を提供し、環境間でのハイパーパラメータ調整を容易にする。

提案手法

• ラグランジュ乗数を制御入力とする動力学系として制約付きRLをモデル化する。
• 標準の積分更新に比例項と微分項を加えて、ラグランジュ乗数へPID更新を導入する。
• 減衰の改善と潜在的な予測的利点を示す修正動力学を導出する。
• PIDラグランジ法をPPOと統合して、Safety Gym環境におけるConstraint-Controlled PPO (CPPO)を作成する。
• 報酬とコストの相対スケールに対してコントローラの調整を頑健にする報酬-コスト尺度不変性技術を提案する。）

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にラグランジュ乗数のPIDベース更新は、コストのオーバーシュートと制約違反を低減できるか。
• RQ2 PIDラグランジ法は、安全なRLベンチマークでハイパーパラメータの頑健性と学習効率を向上させるか。
• RQ3 PPOというリーディングな深層RLアルゴリズムと組み合わせたSafety Gymタスクでの性能はどうなるか。
• RQ4 報酬-コスト尺度不変性によって調整を簡素化でき、性能を犠牲にしないか。

主な発見

• PID更新は、従来の積分のみのラグランジュ法と比べてコストの振動とオーバーシュートを抑制する。
• PI制御（非ゼロのP項）は、複数のSafety Gymタスクで報酬を維持しつつ制約違反を低減する。
• 微分制御は予測的減衰を提供し、コストのオーバーシュートを防ぎ、制約境界へ近づくのを遅らせる。
• PID更新を備えたConstraint-Controlled PPOはSafety Gymベンチマークで最先端の性能を達成する。
• 報酬スケール不変性技術はハイパーパラメータ調整を容易にし、環境全体での頑健性を向上させる。