[論文レビュー] Learning to be Safe: Deep RL with a Safety Critic

Krishnan Srinivasan, Benjamin Eysenbach+3 more|arXiv (Cornell University)|Oct 27, 2020

Robot Manipulation and Learning参考文献 32被引用数 26

ひとこと要約

本稿では、失敗確率を推定するための安全批評家を事前学習することで、より安全で、より効率的な新しいタスクの学習を可能にする深層強化学習フレームワーク、Safe Q-Learning (SQRL) を提案する。学習済みの安全批評家を用いて方策の更新を制約することにより、SQRLは安全上の事故を最大3倍まで削減し、ナビゲーション、歩行、操作タスクにおいて標準的な強化学習と比較して、安定した学習を加速する。

ABSTRACT

Safety is an essential component for deploying reinforcement learning (RL) algorithms in real-world scenarios, and is critical during the learning process itself. A natural first approach toward safe RL is to manually specify constraints on the policy's behavior. However, just as learning has enabled progress in large-scale development of AI systems, learning safety specifications may also be necessary to ensure safety in messy open-world environments where manual safety specifications cannot scale. Akin to how humans learn incrementally starting in child-safe environments, we propose to learn how to be safe in one set of tasks and environments, and then use that learned intuition to constrain future behaviors when learning new, modified tasks. We empirically study this form of safety-constrained transfer learning in three challenging domains: simulated navigation, quadruped locomotion, and dexterous in-hand manipulation. In comparison to standard deep RL techniques and prior approaches to safe RL, we find that our method enables the learning of new tasks and in new environments with both substantially fewer safety incidents, such as falling or dropping an object, and faster, more stable learning. This suggests a path forward not only for safer RL systems, but also for more effective RL systems.

研究の動機と目的

• 安全性が重要だが、手動で制約を指定することが現実的でない実世界の環境に強化学習を導入する課題に対処すること。
• 過去の経験から得た安全に関する直感を新しいタスクに転送することで、段階的に安全な行動を学習できるようにすること。
• 手作業で作成した安全ルールに依存せずに、学習中の安全な探索を保証する手法を開発すること。
• 学習済みの安全批評家を用いて方策を制約することで、学習の効率性と安定性を向上させること。

提案手法

• 動的プログラミングを用いて、状態-行動ペアから将来の失敗確率を推定する安全批評家 $Q_{\text{safe}}^{\bar{\pi}}$ を事前学習する。
• 事前学習済みの安全批評家を用いて、ファインチューニング中の方策更新を制約し、失敗確率が低い行動のみを選択するようにする。
• 安全批評家と方策の学習を2段階で行う：安全が重要な環境での事前学習と、安全制約付きの新しいタスクでのファインチューニング。
• 最大許容失敗確率を制御するための安全閾値 $\epsilon_{\text{safe}}$ を導入し、リスクレベルの調整を可能にする。
• SAC などの標準的な深層強化学習アルゴリズムに安全批評家を統合することで、現代の深層強化学習フレームワークとの互換性を確保する。
• オフラインデータやシミュレートされた経験を活用し、転倒や物体の落下などの失敗事例を用いて、安全批評家を事前学習する。

実験結果

リサーチクエスチョン

• RQ1 学習済みの安全批評家は、新しいタスクにおける深層強化学習の訓練中に、安全上の事故の発生回数を減らすことができるか？
• RQ2 安全批評家を組み込むことで、制約なしの強化学習と比較して、より速く、より安定した学習が達成できるか？
• RQ3 安全閾値 $\epsilon_{\text{safe}}$ は、リスクとパフォーマンスのトレードオフを制御するために使用できるか？
• RQ4 タスクに依存しない安全批評家は、より複雑なタスク、例えば繊細な操作タスクなどに一般化できるか？

主な発見

• 2次元ナビゲーションタスクでは、SQRLはSACと比較して転倒事故を約67％削減し、転倒が発生したエピソードはわずか5％にとどまった。
• Minitaurの歩行タスクでは、SQRLは収束が早く、失敗率も低く抑えられ、標準的なSACと比較して著しく安定した学習曲線を示した。
• 繊密なキューブ回転タスクでは、すべての比較手法と比較してSQRLがキューブを落とす頻度が低く抑えられ、慎重な行動によるわずかなパフォーマンスの妥協が見られたが、依然として優れた結果を達成した。
• 安全閾値 $\epsilon_{\text{safe}}$ はリスクの制御に効果的に機能した：$\epsilon_{\text{safe}} = 0.05$ の場合、エージェントはラバのプールを完全に避けるのに対し、$\epsilon_{\text{safe}} = 0.2$ の場合、危険な経路を通る選択をした。
• 学習曲線から、SQRLの制約付き探索が、不安全な探索によって引き起こされる大きなパフォーマンス低下を回避するなど、より安定的で効率的な学習を実現していることが明らかになった。
• 安全批評家により、元のタスクのより難しいバージョンにファインチューニングする際でさえも安全な学習が可能となり、安全知識の転送性が実証された。