[論文レビュー] Recovery RL: Safe Reinforcement Learning with Learned Recovery Zones

Brijen Thananjeyan, Ashwin Balakrishna+8 more|arXiv (Cornell University)|Oct 29, 2020

Reinforcement Learning in Robotics参考文献 35被引用数 20

ひとこと要約

Recovery RLは、オフラインデータ上で事前学習された回復ポリシーを用いて、タスク学習と安全性の強化を分離する二ポリシー枠組みを提案する。シミュレーションでは先行手法と比較して、タスク成功と制約違反のトレードオフが2–20倍改善され、実機ロボット実験では3倍改善された。

ABSTRACT

Safety remains a central obstacle preventing widespread use of RL in the real world: learning new tasks in uncertain environments requires extensive exploration, but safety requires limiting exploration. We propose Recovery RL, an algorithm which navigates this tradeoff by (1) leveraging offline data to learn about constraint violating zones before policy learning and (2) separating the goals of improving task performance and constraint satisfaction across two policies: a task policy that only optimizes the task reward and a recovery policy that guides the agent to safety when constraint violation is likely. We evaluate Recovery RL on 6 simulation domains, including two contact-rich manipulation tasks and an image-based navigation task, and an image-based obstacle avoidance task on a physical robot. We compare Recovery RL to 5 prior safe RL methods which jointly optimize for task performance and safety via constrained optimization or reward shaping and find that Recovery RL outperforms the next best prior method across all domains. Results suggest that Recovery RL trades off constraint violations and task successes 2 - 20 times more efficiently in simulation domains and 3 times more efficiently in physical experiments. See https://tinyurl.com/rl-recovery for videos and supplementary material.

研究の動機と目的

• 実世界の強化学習における安全な探索の課題に取り組む。広範な探索はロボットや環境を損傷するリスクを伴う。
• 学習中にタスクパフォーマンスの最大化と不安全行動の最小化の間にある矛盾を克服する。
• オンラインでの制約違反に依存せず、オフラインデータを活用して危険な状態と回復行動を事前学習することで、トレーニング中の制約違反を低減する。
• タスクポリシー最適化と安全制約の分離により、両者を同時に最適化することで生じる劣化したポリシーを回避する。
• 画像などの高次元観測空間において、物理的ロボットシステムで効率的かつ安全にポリシーを学習可能にする。

提案手法

• タスク報酬のみを最適化するタスクポリシーと、制約違反の可能性がある際に作動する回復ポリシーの2つの異なるポリシーを用いる。
• 人間のデモンストレーションや過去の不安全な経験から収集したオフラインデータを用いて、回復ポリシーとリスク認識Q関数を事前学習する。
• オフラインデータとリスク推定に基づき、将来の制約違反がProbableなMDPの領域を「回復領域」と定義する。
• 行動リラベルを用いてタスクポリシーを訓練し、行動とその実際の結果を関連づけることで、サンプル効率と成功確率を向上させる。
• リスク認識Q関数を用いて、将来の制約違反の確率を推定し、リスクがしきい値を超えた際に回復ポリシーを発動する。
• オフライン事前学習で確立された安全保証を維持したまま、オンラインでの両ポリシーのファインチューニングを許容する。

実験結果

リサーチクエスチョン

• RQ1 オフラインデータを用いた回復ポリシーの事前学習は、オンラインでの制約違反に依存せずに、安全な強化学習とサンプル効率の向上を実現できるか？
• RQ2 タスク最適化と安全制約の分離が、学習されたポリシーのパフォーマンスとロバストネスに与える影響は何か？
• RQ3 Recovery RLは、タスク成功と制約違反のバランスを取る上で、統合最適化手法に比べてどの程度優れているか？
• RQ4 Recovery RLは、回復ポリシーの事前学習に使用するオフラインデータ量に対してどの程度感度を示すか？
• RQ5 Recovery RLは、高次元の視覚的観測と実世界のロボット制御タスクに一般化可能か？

主な発見

• Recovery RLは、6つのシミュレーションドメインにおいて5つの最先端の安全強化学習手法を上回り、タスク成功と制約違反のトレードオフが2–20倍改善された。
• 画像ベースの障害物回避タスクにおける実機ロボット実験では、次善のベースラインと比較して、制約違反が3倍削減された。
• 回復ポリシーとリスク関数のオフライン事前学習が欠落すると、性能が著しく低下するため、オフラインデータの重要性が顕著に示された。
• 回復ポリシーの事前学習に1,000件のオフライン遷移すら十分に機能し、データ量がこの閾値を下回ると性能が著しく低下した。
• タスクポリシー訓練時の行動リラベルは不可欠であり、これを実施しないとタスク成功確率が著しく低下した。
• 特にリスクしきい値とリスク係数のハイパーパrameterチューニングに対して、先行手法よりもRecovery RLは感受性が低かった。