[論文レビュー] Do Androids Dream of Electric Fences? Safety-Aware Reinforcement Learning with Latent Shielding

Chloe He, Borja G. León+1 more|arXiv (Cornell University)|Dec 21, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文では、手動で作成された力学モデルを必要とせず、高次元で複雑な環境においても安全な行動を保証するための、データ駆動型の潜在的ワールドモデルを用いた安全意識型強化学習フレームワーク「潜在的シールド（latent shielding）」を提案する。学習済みモデルを用いて将来の軌道を予測することで、シールドは不安全な行動を防ぎ、訓練中における安全違反を顕著に低減するが、ベンチマーク環境における高い性能を維持する。

ABSTRACT

The growing trend of fledgling reinforcement learning systems making their way into real-world applications has been accompanied by growing concerns for their safety and robustness. In recent years, a variety of approaches have been put forward to address the challenges of safety-aware reinforcement learning; however, these methods often either require a handcrafted model of the environment to be provided beforehand, or that the environment is relatively simple and low-dimensional. We present a novel approach to safety-aware deep reinforcement learning in high-dimensional environments called latent shielding. Latent shielding leverages internal representations of the environment learnt by model-based agents to "imagine" future trajectories and avoid those deemed unsafe. We experimentally demonstrate that this approach leads to improved adherence to formally-defined safety specifications.

研究の動機と目的

• 安全違反が恒久的損害を引き起こす可能性がある現実世界の環境に深層強化学習エージェントを導入する課題に対処すること。
• 既存のシールド手法が手動で作成された環境の力学モデルを必要としているという制限を克服すること。これらのモデル作成は時間と手間がかかり、誤りの原因にもなる。
• 記号的モデルが不適切な高次元で確率的かつ連続的な環境において、安全な探索と訓練を可能にすること。
• モデルベースエージェントの内部表現を活用して、不安全な軌道を予測・回避するシールドを開発すること。
• 形式的記号的シールドに匹敵する効果的な安全確保が、学習された抽象化によって達成可能であるが、形式的検証可能性を失うという事実を示すこと。

提案手法

• 本手法は、エージェントの経験から潜在的ワールドモデルを学習するための再帰的状態空間モデル（SRSSM）を採用し、明示的な環境モデリングを必要とせずに確率的力学を捉える。
• シールドは潜在的ワールドモデルを用いて、候補となる行動の将来の軌道をシミュレートし、形式的 scLTL 規約で定義された不安全状態に至る行動を特定・ブロックする。
• 訓練中に不安全状態への露出を減らすために、潜在的ワールドモデル内で安全意識型ポリシーを訓練することで、サンプル効率と安全性を向上させる。
• モデルベース強化学習において性能を低下させる可能性がある早期のシールド適用を防ぐために、新たなシールド導入スケジュールを導入する。
• 潜在的空間における学習効率を向上させるために、模倣学習とカリキュラムベースの探索を組み合わせる。
• シールドは、軌道予測に基づいて不安全な行動を上書きすることで動作し、scLTL 規約の進行状態を監視するメカニズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の潜在的ワールドモデルは、高次元で確率的な環境において、不安全な行動を防ぐシールドを構築するために効果的に利用可能か？
• RQ2 潜在的シールドの性能は、シールドなしエージェントおよび記号的シールド手法と比較して、安全性と最終的な性能の面でどの程度優れているか？
• RQ3 不適切なタイミングでのシールド適用は、モデルベースエージェントの学習性能を劣化させるか？その場合、どのように緩和できるか？
• RQ4 学習済みワールドモデルの忠実度が、シールド付きエージェントの安全性と耐性にどの程度影響を与えるか？
• RQ5 学習された抽象化は、現実世界のRL導入において実用的に十分な安全性保証を提供できるか？

主な発見

• 潜在的シールドは、シールドなしエージェントと比較して、訓練中における安全違反の数を顕著に低減し、形式的安全規約への準拠を高める。
• 形式的検証可能性を欠くものの、テスト性能は記号的シールド手法と同等に達成される。
• シールド導入スケジュールの導入により、特にモデルベース強化学習エージェントにおいて、早期シールドによる性能劣化が防止された。
• 本フレームワークは連続的および離散的制御環境の両方で正常に動作し、広範な適用可能性を示した。
• 学習済みワールドモデルの使用により、手動で作成可能な力学モデルが不適切な環境でも安全な訓練が可能になった。
• 実験的結果から、違反状態に至る想像された軌道を再構築することで、シールドが不安全な行動を効果的にブロックできることを示した。