[論文レビュー] Safe Reinforcement Learning by Imagining the Near Future

Thomas, Garrett, Yuan Luo+1 more|arXiv (Cornell University)|Feb 15, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、短時間予測による不安全な軌道をペナルティ化することで安全な違反を防ぐ、モデルベース強化学習アルゴリズムであるSafe Model-Based Policy Optimization（SMBPO）を提案する。理論的にはモデルの精度とペナルティ条件を満たせば安全を保証し、連続制御タスクにおいて、モデルフリーのベースラインと比較して著しく少ない安全違反を達成する。

ABSTRACT

Safe reinforcement learning is a promising path toward applying reinforcement learning algorithms to real-world problems, where suboptimal behaviors may lead to actual negative consequences. In this work, we focus on the setting where unsafe states can be avoided by planning ahead a short time into the future. In this setting, a model-based agent with a sufficiently accurate model can avoid unsafe states. We devise a model-based algorithm that heavily penalizes unsafe trajectories, and derive guarantees that our algorithm can avoid unsafe states under certain assumptions. Experiments demonstrate that our algorithm can achieve competitive rewards with fewer safety violations in several continuous control tasks.

研究の動機と目的

• 物理的または深刻な被害を引き起こす可能性のある不安全な行動が許されない実世界のRL応用における安全な探索の課題に対処すること。
• 短い予測ホライズン内で計画することで、安全違反が発生する前にそれを予測するモデルベースのアプローチを開発すること。
• モデルの精度と十分なペナルティの大きさの仮定の下で、不安全な状態を回避することを理論的に保証すること。
• 既存のモデルフリーな安全RL手法と比較して、サンプル効率と安全性のトレードオフを改善すること。
• 安全性が最重要視されるロボット工学、医療、自律システムにおいて実用的な展開を可能にすること。

提案手法

• 学習済みのダイナミクスモデルを用いて、ポリシーの改善に向けた短いホライズンの仮想軌道を生成する。
• 予測ホライズン内に不安全な状態に到達する確率に比例した安全ペナルティ項を報酬関数に導入する。
• モデルが十分に正確な場合に安全を保証するためのペナルティ係数Cの理論的バインドを導出する。
• 安全ペナルティを組み込んだ修正されたリターンを用いて、モデルベースポリシー最適化を実行し、不安全な軌道の発生を抑制する。
• ポリシー学習の安定化と、不安全な大きなポリシーの変更を防ぐためにトラスト領域更新を適用する。
• モデルアンサンブルの予測を活用して、軌道ロールアウトにおける不確実性推定と耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 短い時間ステップ（数ステップ）先の予測のみで、モデルベースRLアルゴリズムが不安全な状態の回避を保証できるか？
• RQ2 モデルの精度が保証されている条件下で安全を保証するために必要な最小ペナルティの大きさは何か？
• RQ3 連続制御タスクにおける学習速度と最終的なパフォーマンスに、安全ペナルティがどのように影響を与えるか？
• RQ4 短いホライズンでの計画は、モデルフリーな安全RL手法と比較して、安全違反の発生とサンプル効率の両面で優れているか？
• RQ5 ダイナミクスモデルが完璧でない場合に、理論的な安全保証が実際の状況でも成り立つか？

主な発見

• 提案されたSMBPOアルゴリズムは、最先端のモデルフリーな安全RL手法と比較して、著しく少ない安全違反を経験しながら、競争力のある累積報酬を達成した。
• 実験ではペナルティ係数Cを大きくすると安全違反が減少するが、学習が遅くなる傾向にあり、理論的なトレードオフが裏付けられた。
• Ant、Half-Cheetah、Walker2dなどの連続制御環境において、モデルが完全でない場合でも、SMBPOは不安全な状態を効果的に回避した。
• ダイナミクスモデルが短い予測ホライズン内で十分に正確であるという仮定の下では、理論的な安全保証が成立した。
• 特に高い安全制約が課される環境では、モデルフリーのベースラインと比較してSMBPOがサンプル効率が向上した。
• アブレーションスタディの結果、安全ペナルティが違反の低減に不可欠であり、これを除去すると、高コストの安全違反を伴う標準RLアルゴリズムと同等の性能となった。