[論文レビュー] Penalized Proximal Policy Optimization for Safe Reinforcement Learning

Linrui Zhang, Li Shen+5 more|arXiv (Cornell University)|May 24, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、正確なペナルティ関数を用いて制約付き方策最適化を等価な制約なし問題に再定式化し、PPOのクリッピングされた補助目的を安全制約を扱えるように拡張した、安全な強化学習アルゴリズムであるPenalized Proximal Policy Optimization (P3O)を提案する。P3Oは、単一および複数の制約、ならびにマルチエージェント環境において、報酬最大化と制約満たしの両面で優れた性能を発揮し、最先端の手法と比較してより優れたサンプル効率とスケーラビリティを実現する。

ABSTRACT

Safe reinforcement learning aims to learn the optimal policy while satisfying safety constraints, which is essential in real-world applications. However, current algorithms still struggle for efficient policy updates with hard constraint satisfaction. In this paper, we propose Penalized Proximal Policy Optimization (P3O), which solves the cumbersome constrained policy iteration via a single minimization of an equivalent unconstrained problem. Specifically, P3O utilizes a simple-yet-effective penalty function to eliminate cost constraints and removes the trust-region constraint by the clipped surrogate objective. We theoretically prove the exactness of the proposed method with a finite penalty factor and provide a worst-case analysis for approximate error when evaluated on sample trajectories. Moreover, we extend P3O to more challenging multi-constraint and multi-agent scenarios which are less studied in previous work. Extensive experiments show that P3O outperforms state-of-the-art algorithms with respect to both reward improvement and constraint satisfaction on a set of constrained locomotive tasks.

研究の動機と目的

• 既存の制約付き強化学習アルゴリズムの限界、すなわち信頼領域依存、ヘッセ行列の逆行列計算、不実行可能な方策の回復の必要性を解消すること。
• 有限のペナルティ係数で正確な制約満たしを保証し、二次近似を避ける安全なRL手法の開発。
• 内側ループ最適化を必要とせず、複数制約およびマルチエージェント環境に対してもスケーラブルで、サンプル効率が高く安定した学習を可能にすること。
• ペナルティ化された定式化の正確性に関する理論的保証と、ペナルティ係数の実用的チューニング戦略の提供。
• 報酬と制約満たしの両面で、最先端の安全な強化学習アルゴリズムに対するP3Oの実証的優位性の実証。

提案手法

• 正確なペナルティ関数を用いて制約付きマルコフ決定過程（CMDP）を等価な制約なし最適化問題に再定式化し、信頼領域やヘッセ行列の逆行列計算の必要性を排除する。
• 報酬項とコスト項の両方に対してクリッピング補助目的を導入し、信頼領域制約なしで安定した方策更新を可能にする。
• 固定または適応的にチューニングされたペナルティ係数を用いて報酬最大化と制約満たしのバランスをとるが、十分に大きなペナルティ値に対して正確性が保証されることを理論的に証明する。
• 損失関数にペナルティ項を単純に追加することで、複数制約およびマルチエージェント設定への拡張を実現し、スケーラビリティを維持する。
• アドバンテージ正規化と適応的ペナルティスケジューリングを適用し、多様な環境および制約閾値において学習を安定化させる。
• マルチエージェント設定では集中型と分散型の両方の学習をサポートし、集中型の価値関数（critic）を用いることで性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 正確なペナルティ再定式化により、制約付き方策最適化における信頼領域制約とヘッセ行列の逆行列計算の必要性を排除できるか？
• RQ2 PPOのクリッピング補助目的を、CMDPにおける報酬とコストの両方の目的に拡張できるか？
• RQ3 有限のペナルティ係数で安全なRLにおける正確な制約満たしが可能か？また、その効果的なチューニング方法は何か？
• RQ4 提案手法は、計算複雑性の増加なしに複数制約およびマルチエージェント環境にスケーラブルに拡張可能か？
• RQ5 報酬、制約満たし、サンプル効率の観点から、P3Oは最先端の安全な強化学習アルゴリズムと比較してどのように差をつけるか？

主な発見

• P3Oは、評価されたすべての環境において累積報酬と制約満たしの両面で優れた性能を発揮し、PPO、CPO、PPO-Lagrangianを上回る。
• アルゴリズムはコスト上限（例：cost1では25、cost2では20）に正確に収束し、過剰な制御なしに正確な制約処理を実現している。
• P3Oは広範なペナルティ係数の範囲で安定した性能を維持し、固定ペナルティ値を用いることで、さまざまなタスクで一貫した結果を得ている。
• 複数制約の状況では、P3Oは両方の制約を同時に満たしているが、単一制約ベースラインは無視された制約を制御できていない。
• マルチエージェント設定では、MAP3Oはグローバル報酬を向上させながらも、衝突制約を厳密に遵守しており、集中型の価値関数を用いることで性能と制約遵守性がさらに向上している。
• P3Oは任意の初期方策に対してロバストであり、不実行可能な方策のための追加の回復ステップを必要とせず、任意の初期化から一貫した学習が可能である。