[論文レビュー] Leave no Trace: Learning to Reset for Safe and Autonomous Reinforcement Learning

Benjamin Eysenbach, Shixiang Gu+2 more|arXiv (Cornell University)|Nov 18, 2017

Reinforcement Learning in Robotics参考文献 22被引用数 25

ひとこと要約

本論文では、前向き方策とリセット方策を併用して、自動的な環境回復を可能にする安全で自律的な強化学習のフレームワークを提案する。価値ベースの不確実性推定を用いることで、危険な軌道を事前に中止し、手動リセットを減らし、自動的にカリキュラムを誘発することで、複雑なロボットタスクにおけるサンプル効率と安全性を著しく向上させる。

ABSTRACT

Deep reinforcement learning algorithms can learn complex behavioral skills, but real-world application of these methods requires a large amount of experience to be collected by the agent. In practical settings, such as robotics, this involves repeatedly attempting a task, resetting the environment between each attempt. However, not all tasks are easily or automatically reversible. In practice, this learning process requires extensive human intervention. In this work, we propose an autonomous method for safe and efficient reinforcement learning that simultaneously learns a forward and reset policy, with the reset policy resetting the environment for a subsequent attempt. By learning a value function for the reset policy, we can automatically determine when the forward policy is about to enter a non-reversible state, providing for uncertainty-aware safety aborts. Our experiments illustrate that proper use of the reset policy can greatly reduce the number of manual resets required to learn a task, can reduce the number of unsafe actions that lead to non-reversible states, and can automatically induce a curriculum.

研究の動機と目的

• エピソードごとに環境を手動でリセットする依存度を減らし、エージェントが自律的に環境をリセットできるようにすること。
• 前向き方策が不逆状態に近づくと、その前に中止することで、学習中の安全性を向上させること。
• リセット方策を学習することで、エージェントの能力に応じて段階的に難易度を上げるカリキュラムを自動的に誘発すること。
• 学習済みリセット方策によってすべての状態が回復可能であることを保証することで、複雑な環境において継続的かつスケーラブルな強化学習を可能にすること。

提案手法

• 本フレームワークは、タスク実行用の前向き方策と環境回復用のリセット方策を同時に学習し、交互にエピソードを繰り返すことで最適化する。
• リセット方策の価値関数が、初期状態への到達までのコストを推定し、前向き方策が不逆状態に近づくと、不確実性を考慮した早期中止を可能にする。
• アンサンブル化されたQネットワークを用いて価値関数の不確実性を推定し、バイアスを低減し、早期中止意思決定の信頼性を向上させる。
• 探索と回復可能性の両立を図るリスク認識型の目的関数を用い、エージェントが戻れる状態しか探索しないように保証する。
• リセット方策は初期状態までの距離を最小化するように学習され、その成功により安全で回復可能な状態の集合が時間とともに拡大する。
• アプローチは自然にカリキュラムを誘発する：リセット方策が向上するにつれ、前向き方策の初期状態がゴールから徐々に遠ざかり、タスク難易度が段階的に上昇する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、エピソード終了後に環境を自律的にリセットできるか？
• RQ2 価値ベースのリセット方策は、不逆状態が発生する前にそれを予測・防止できるか？ これにより学習の安全性が向上するか？
• RQ3 リセット方策を学習することで、スパarsely-rewardedなタスクを解けるカリキュラムが自動的に誘発されるか？
• RQ4 価値関数における不確実性推定は、学習プロセスのロバストネスとサンプル効率にどのように影響するか？

主な発見

• ペグ挿入タスクにおいて、100万ステップの学習後、ハードな手動リセットの回数がほぼゼロにまで減少し、単に手動リセットのみを用いたベースラインでは失敗した学習が成功した。
• 不確実性推定に50個のQネットワークのアンサンブルを用いることで、学習の安定性が著しく向上し、ハードリセットの回数も大幅に減少した。
• アルゴリズムはペグ挿入タスクにおいて自然にカリキュラムを誘発し、ランダムな探索では到達不可能なスパarsely-rewardedな環境でも、タスクを解けるようにした。
• 実験では、リセット方策の価値関数のカバレッジが時間とともに拡大し、エージェントがより複雑で遠く離れた状態を安全に探索できるようになった。
• 最小限の人的介入で安定した学習が達成され、現実のロボティクスにおける長時間にわたるスケーラブルな強化学習の実現可能性を示した。
• 密度の高い報酬が存在しない状況でも、リセット能力の向上に伴い初期状態分布の難易度を段階的に高めることで、成功した方策学習が可能になった。