[論文レビュー] Cautious Adaptation For Reinforcement Learning in Safety-Critical Settings

Jesse Zhang, Brian Cheung+3 more|arXiv (Cornell University)|Aug 15, 2020

Anomaly Detection Techniques and Applications被引用数 26

ひとこと要約

本稿では、失敗コストが高いため安全が求められる実世界のターゲット環境に、シミュレーテッドなソース環境からリスクを意識した行動を転移させる、安全を最優先とした強化学習の適応フレームワークを提案する。Cautious Adaptation in RL (CARL) を用いて、事前学習段階で確率的ダイナミクスモデルを構築し、不確実性を推定する。適応段階ではリスク回避型計画を採用し、ドライブ、制御、操作のタスクにおいて、強力なベースラインと比較して著しく少ない危険な失敗を伴いながらも、より高い報酬を達成した。

ABSTRACT

Reinforcement learning (RL) in real-world safety-critical target settings like urban driving is hazardous, imperiling the RL agent, other agents, and the environment. To overcome this difficulty, we propose a "safety-critical adaptation" task setting: an agent first trains in non-safety-critical "source" environments such as in a simulator, before it adapts to the target environment where failures carry heavy costs. We propose a solution approach, CARL, that builds on the intuition that prior experience in diverse environments equips an agent to estimate risk, which in turn enables relative safety through risk-averse, cautious adaptation. CARL first employs model-based RL to train a probabilistic model to capture uncertainty about transition dynamics and catastrophic states across varied source environments. Then, when exploring a new safety-critical environment with unknown dynamics, the CARL agent plans to avoid actions that could lead to catastrophic states. In experiments on car driving, cartpole balancing, half-cheetah locomotion, and robotic object manipulation, CARL successfully acquires cautious exploration behaviors, yielding higher rewards with fewer failures than strong RL adaptation baselines. Website at https://sites.google.com/berkeley.edu/carl.

研究の動機と目的

• 失敗コストが高いため、安全が求められる実世界の環境に強化学習を導入する課題に対処すること。
• 多様で安全が求められないソースドメインからの事前経験を活用して、新しい環境への迅速かつ安全な適応を可能にすること。
• 未知のターゲット環境における探索段階で不確実性を推定し、リスク回避行動を強制する手法を開発すること。
• リスク回避型の適応が、サンプル効率および安全性の両面で、標準的な強化学習およびメタラーニングのベースラインを上回ることを実証すること。

提案手法

• モデルベース強化学習を用いて、多様なソース環境における環境ダイナミクスと危険状態の発生確率の確率的モデルを事前学習する。
• 変分推論を用いて、ダイナミクスモデルにおけるエピステミック不確実性を推定し、可能な結果の分布的不確実性を捉える。
• 新しいターゲット環境での適応段階において、危険状態に到達する確率を最小化するリスク回避型の目的関数を用いて行動を計画する。
• 慎重な探索から得た新しい経験をダイナミクスモデルに統合し、予測を段階的に精緻化し、信頼性を向上させる。
• 安全制約を適用したリスク回避型計画を実施し、失敗状態に至る確率が高いための行動をペナルティ化する。
• 状態ベースおよび報酬ベースのリスクモデリングを用いて、異なるリスク回避戦略がパフォーマンスと安全性に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 多様で安全が求められないソース環境からの知識を、高コストの新しいターゲット環境への安全な適応に転移できるか？
• RQ2 学習された不確実性に基づくリスク回避型計画は、適応段階におけるサンプル効率の向上と危険な失敗の低減にどのように寄与するか？
• RQ3 エピステミック不確実性を推定するモデルベースのアプローチは、メタラーニングおよび標準的強化学習のベースラインを上回る性能を示せるか？
• RQ4 計画プロセスから生じる質的リスク回避行動はどのようなものか？また、それらは解釈可能でタスクに適しているか？

主な発見

• 長いポールを備えたCartPoleでは、CARLはすべてのベースラインと比較して高い報酬（70以上）を達成し、危険な失敗を著しく遅らせた。10回の適応ステップ内では、ベースラインは著しく改善しなかった。
• 片方の前足が無効化されたHalf-Cheetahでは、CARL（状態）が全ベースラインを上回り、適応全体を通じて最高の報酬を維持した。PPO-MAMLおよびRARL: 2x Itrは適応に失敗した。
• Duckietownでは、CARL（状態）は時間経過とともに衝突頻度を低下させ、唯一、ターンを正常に完了した。他の手法はほぼ毎回衝突した。
• Baodingでは、CARL（状態）は他の手法と比較してボールを落とす回数を著しく減らし、最初の適応エピソードから著しく高い報酬を達成した。
• CARL（状態）は、幅広いターン、遅い速度、ターンを完了させるためにバックアップするといった解釈可能なリスク回避行動を示したが、標準的エージェントにはそのような行動は見られなかった。
• リスク回避型計画戦略により、CARLはCartPoleおよびDuckietownの最も外れのテスト設定のような分布外環境でも、高いパフォーマンスを維持できた。