[論文レビュー] Safe Reinforcement Learning via Curriculum Induction

Matteo Turchetta, Andrey Kolobov+3 more|arXiv (Cornell University)|Jun 22, 2020

Reinforcement Learning in Robotics参考文献 44被引用数 41

ひとこと要約

CISR は、教育エージェントが介入を用いて学習者を訓練中に安全を保ちつつ、世代を超えてカリキュラムを進化させて最終ポリシーの性能を向上させる、カリキュラムベースの安全な RL フレームワークを導入する。

ABSTRACT

In safety-critical applications, autonomous agents may need to learn in an environment where mistakes can be very costly. In such settings, the agent needs to behave safely not only after but also while learning. To achieve this, existing safe reinforcement learning methods make an agent rely on priors that let it avoid dangerous situations during exploration with high probability, but both the probabilistic guarantees and the smoothness assumptions inherent in the priors are not viable in many scenarios of interest such as autonomous driving. This paper presents an alternative approach inspired by human teaching, where an agent learns under the supervision of an automatic instructor that saves the agent from violating constraints during learning. In this model, we introduce the monitor that neither needs to know how to do well at the task the agent is learning nor needs to know how the environment works. Instead, it has a library of reset controllers that it activates when the agent starts behaving dangerously, preventing it from doing damage. Crucially, the choices of which reset controller to apply in which situation affect the speed of agent learning. Based on observing agents' progress, the teacher itself learns a policy for choosing the reset controllers, a curriculum, to optimize the agent's final policy reward. Our experiments use this framework in two environments to induce curricula for safe and efficient learning.

研究の動機と目的

• 探索がコストのかかる、または危険になり得る安全性が重要な環境で、安全な RL の動機づけを行う。
• 環境モデルを必要とせず、介入を用いて学習中の安全を保証する教師-生徒フレームワークとして CISR を提案する。
• 観察された学習者の進捗に基づいて介入の系列を最適化するカリキュラムポリシーを開発する。
• 介入によって生じた CMDP の安全性特性を示す理論的保証を提供する。
• 困難な環境での経験的安全性と効率性の利点を示し、エージェント間でカリキュラムポリシーの転送性を示す。

提案手法

• 介入を、状態条件付きリセット分布を有するトリガー集合として定義する。
• 各介入を、実現可能性を維持しつつ学習者を安全に保つためにダイナミクスを上書きできる変更された CMDP としてモデル化する。
• 介入下の生徒学習問題を導入し、安全違反の制約と教師が課す制約を設定する。
• カリキュラムを介入 CMDP の連続として形式化し、学習者のパフォーマンス統計に基づいて適応するカリキュラムポリシーを定義する。
• 教師を、評価特徴とパラメータ最適化のための GP-UCB を用いてラウンドを通じてカリキュラムポリシーを最適化するオンライン学習者として扱う。
• 実践的な実装の選択肢として、素対-双対最適化を用いる CMDP ソルバー、介入間の知識転移、ベイズ最適化ループを用いた反応型の教師ポリシーなどを説明する。

実験結果

リサーチクエスチョン

• RQ1 タスクや環境を完全に理解していない状態で、学習中の RL エージェントの安全性を教師がどのように保証できるか？
• RQ2 データ駆動型で適応的なカリキュラムポリシーは、固定されたカリキュラムやカリキュラムなしよりも安全な学習を加速できるか？
• RQ3 介入によって生じた CMDP は、生徒間やタスク間で転移可能な安全な学習を生み出すか？
• RQ4 安全制約の下でカリキュラム設計が最終ポリシーの性能に与える影響は何か？
• RQ5 限定的な監視下で、教師がオンライン設定でどのようにカリキュラムを効率的に最適化できるか？

主な発見

• 危険が検出されたときに安全な状態へリセットすることで、安全介入のカリキュラムは学習中に学習者を安全に保つ。
• 特定の条件下で、介入によって生じた CMDP での学習は、教師が取り除かれた後、元の CMDP で実行可能なポリシーを生み出す。
• データ駆動のオンライン教師は、観察された進捗統計を用いて世代を超えてカリキュラムポリシーを改善する。
• Frozen Lake と Lunar Lander の経験的結果は、カリキュラム最適化された CISR が、非カリキュラムや固定介入のベースラインと比較して同等または優れた最終報酬を維持した安全性を達成することを示す。
• CISR によって学習されたカリキュラムポリシーは、異なるアーキテクチャや感知能力を持つエージェント間でよく転移する。