[論文レビュー] Accelerating Safe Reinforcement Learning with Constraint-mismatched Policies

Tsung-Yen Yang, Justinian Rosca+2 more|arXiv (Cornell University)|Jun 20, 2020

Reinforcement Learning in Robotics参考文献 49被引用数 4

ひとこと要約

本論文は、安全な強化学習アルゴリズムであるSPACEを提案する。この手法は、制約違反を伴う劣化した基本方針から学習を加速するため、タスク報酬の最適化、基本方針からの近接性の維持、制約を満たす方針集合への射影を繰り返し行う。5つの制御タスク（安全性および公平性制約を含む）において、最先端のベースラインと比較して平均報酬が40%高く、制約違反が10倍少ない結果を得た。

ABSTRACT

We consider the problem of reinforcement learning when provided with (1) a baseline control policy and (2) a set of constraints that the learner must satisfy. The baseline policy can arise from demonstration data or a teacher agent and may provide useful cues for learning, but it might also be sub-optimal for the task at hand, and is not guaranteed to satisfy the specified constraints, which might encode safety, fairness or other application-specific requirements. In order to safely learn from baseline policies, we propose an iterative policy optimization algorithm that alternates between maximizing expected return on the task, minimizing distance to the baseline policy, and projecting the policy onto the constraint-satisfying set. We analyze our algorithm theoretically and provide a finite-time convergence guarantee. In our experiments on five different control tasks, our algorithm consistently outperforms several state-of-the-art baselines, achieving 10 times fewer constraint violations and 40% higher reward on average.

研究の動機と目的

• 安全、公平性、またはアプリケーション固有の制約に違反する可能性のある基本方針から安全に学習する課題に対処すること。
• 専門家や模倣された方針を用いることで、それらが制約を満たさなくても、サンプル効率と制約満たしの両方を向上させること。
• 学習の各イテレーションで制約を満たすことを保証しながら、効果的な探索と適応を可能にする手法を開発すること。
• 現実的な仮定の下で、提案手法の有限時間収束保証を提供すること。
• ロボット制御や交通管理を含む多様なタスクにおいて、実世界への応用を念頭に置いて、実験的に手法を検証すること。

提案手法

• アルゴリズムは3つの反復的ステップを実行する：(1) 期待報酬を最大化するための信頼領域方針最適化、(2) 基本方針からの距離を制御する方針空間における射影、(3) 制約を満たす方針集合への射影により安全性を保証する。
• 基本方針からの距離は動的閾値 $ h_D^k $ を用いて適応的に制御され、劣化した基本方針に過度に依存することなく、柔軟な探索を可能にする。
• 信頼領域アプローチ（例：TRPO）により、安定した方針更新が保証され、最適化中の深刻な方針の逸脱を防ぐ。
• 制約射影ステップにより、すべてのイテレーションで妥当性が保証され、生成されるすべての方針が与えられた安全または公平性制約を満たす。
• 基本方針のコスト関数学習に依存しないため、計算負荷が低減され、模倣データの直接利用が可能になる。
• アルゴリズムは理論的に分析され、標準的な仮定の下で有限時間収束することが示され、信頼領域、距離制御、制約射影の相互作用から収束保証が導出された。

実験結果

リサーチクエスチョン

• RQ1 制約を違反する基本方針から学習する強化学習エージェントは、依然としてタスクパフォーマンスを向上させながら安全に学習できるか？
• RQ2 基本方針からの距離を動的に調整することで、制約満たしと学習効率にどのような影響を与えるか？
• RQ3 提案手法は、サンプル効率と制約違反率の両面で、既存の安全強化学習アルゴリズムを上回るか？
• RQ4 本手法は、ロボット工学における安全性や交通管理における公平性といった、異なる種類の制約を持つ多様なタスクに一般化可能か？
• RQ5 初期距離閾値 $ h_D^0 $ の値が、最終的な方針パフォーマンスと制約遵守度に与える影響は何か？

主な発見

• SPACEは、MuJoCo環境や実世界の交通管理シミュレーションを含む5つの制御タスクにおいて、最先端のベースラインと比較して平均報酬が40%高い結果を得た。
• 本手法は、既存の手法と比較して平均で制約違反を10倍に削減し、強力な安全保証を示した。
• 人間の模倣データを用いた自動車レースタスクでは、基本方針がコスト制約に違反していたにもかかわらず、SPACEは安全な方針を正常に学習した。
• 初期値 $ h_D^0 $ がパフォーマンスにほとんど影響を与えないことから、ハイパーパrameterの選択に対して頑健であることが示された。
• 実験結果から、標準偏差を報告した5回の実行において一貫したパフォーマンス向上が得られ、信頼性と再現性が確認された。
• 本手法は有限時間収束を示し、実用的導入に向けた理論的保証を提供した。