[論文レビュー] Safe Reinforcement Learning Using Advantage-Based Intervention

Nolan Wagener, Boots, Byron+1 more|arXiv (Cornell University)|Jun 16, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

SAILR は、未知のマルコフ決定過程における学習中に安全を保証するためのアドバンテージに基づく干渉を用いる安全な強化学習アルゴリズムである。市販の強化学習アルゴリズムを活用し、データを変換して干渉をペナルティ化することで、訓練時およびデプロイ時における強力な安全保証を達成し、従来の手法と比較して制約違反を顕著に低減する。

ABSTRACT

Many sequential decision problems involve finding a policy that maximizes total reward while obeying safety constraints. Although much recent research has focused on the development of safe reinforcement learning (RL) algorithms that produce a safe policy after training, ensuring safety during training as well remains an open problem. A fundamental challenge is performing exploration while still satisfying constraints in an unknown Markov decision process (MDP). In this work, we address this problem for the chance-constrained setting. We propose a new algorithm, SAILR, that uses an intervention mechanism based on advantage functions to keep the agent safe throughout training and optimizes the agent's policy using off-the-shelf RL algorithms designed for unconstrained MDPs. Our method comes with strong guarantees on safety during both training and deployment (i.e., after training and without the intervention mechanism) and policy performance compared to the optimal safety-constrained policy. In our experiments, we show that SAILR violates constraints far less during training than standard safe RL and constrained MDP approaches and converges to a well-performing policy that can be deployed safely without intervention. Our code is available at https://github.com/nolanwagener/safe_rl.

研究の動機と目的

• 未知の MDP における探索時の安全を保証する課題に対処し、標準的な安全な強化学習手法が訓練時における安全保証を欠いていることに対処する。
• 複雑な制約付き最適化や制御理論的仮定に依存せずに、訓練中に安全を維持しつつ高いポリシー性能を達成する手法を開発する。
• 訓練時およびデプロイ時における安全保証を理論的に保証すること、すなわち、標準的な制約なしの強化学習アルゴリズムを用いても保証すること。
• 従来の CMDP に基づく手法や干渉に基づく手法と比較して、訓練時の安全違反の数を低減すること。
• アドバンテージ関数を用いて干渉意思決定をガイドすることで、安定的かつ信頼性の高い学習を実現し、汎用的かつスケーラブルな手法を提供すること。

提案手法

• SAILR は、期待報酬の観点から、アドバンテージが低い（＝安全ポリシーに対して不安全な）行動がとられた場合にバックアップポリシーを発動するアドバンテージに基づく干渉ルールを用いる。
• ロールアウト中に、エージェントが高リスク行動を提案した場合、バックアップポリシーが干渉し、エージェントを安全な状態に誘導する。これは、負の報酬を持つ吸収状態への遷移を模倣する。
• 収集された軌道は、干渉が発生した任意の状態-行動ペアにペナルティを課すことにより、非制約付き MDP 用の経験に変換され、仮想 MDP $ ilde{ ho}$ を用いる。
• 変換されたデータは、SAC や PPO などの標準的な市販の強化学習アルゴリズムを用いてエージェントのポリシーを訓練するために使用される。
• この手法は、やや弱い仮定に依存する：不安全状態は吸収的であり、バックアップポリシーは初期状態から高い確率で安全を保証する。
• 干渉メカニズムは部分的かつ汎用的であり、推定されたアドバンテージ関数にのみ依存するため、滑らかさや一様エルゴディック性に関する仮定を避ける。

実験結果

リサーチクエスチョン

• RQ1 複雑な制約付き最適化に依存せずに、訓練時およびデプロイ時における安全保証を達成する安全な強化学習アルゴリズムを設計できるか？
• RQ2 アドバンテージ関数をどのように用いて安全な干渉をガイドするか。これによりポリシー性能と安定性が維持されるか？
• RQ3 干渉ペナルティの大きさが訓練時の安全保証および最終的なポリシー性能に与える影響は何か？
• RQ4 干渉メカニズムにおけるモデルバイアスが安全保証および学習安定性に与える影響は何か？
• RQ5 標準的で制約なしの強化学習アルゴリズムを用いても、強力な安全保証を達成できるか？

主な発見

• SAILR は、標準的な安全な強化学習手法や制約付き MDP 手法と比較して、訓練中の安全違反を桁違いに低減する。
• 干渉にバイアスのあるモデルを用いても、SAILR は最小限の制約違反で高いデプロイ性能を達成する。
• 干渉のコスト関数を設計することで、安全違反が顕著に低減し、特にモデルバイアス下でもポリシー最適化が安定化する。
• 大きな干渉ペナルティは、安全行動の迅速な学習とデプロイ時の安全性の向上をもたらし、理論的境界と整合的である。
• MPC を用いた干渉ルールは部分的である（ゼロでないペナルティのみ必要）が、ヒューリスティックな干渉では同程度の安全を達成するにはより大きなペナルティが必要であり、アドバンテージに基づくアプローチの優位性が示される。
• SAILR の理論的保証は、やや弱い仮定（不安全状態が吸収的であること、初期状態から安全なバックアップポリシーが高確率で安全を保証すること）のもとで成立する。