[論文レビュー] Safe Planning via Model Predictive Shielding

Osbert Bastani|arXiv (Cornell University)|May 25, 2019

Reinforcement Learning in Robotics参考文献 27被引用数 11

ひとこと要約

本論文では、必要に応じてのみバックアップポリシーを用いることで、強化学習ポリシーの安全性をリアルタイムで動的に検証する計算効率の良い手法、Model Predictive Shielding (MPS) を提案する。オフラインではなく、実行時における安全の確認により、未知の環境や新規の環境においても安全性を保証する。MPS は、柔軟性と効率性の面で、先行するシールド手法を凌駆する。

ABSTRACT

Reinforcement learning is a promising approach to synthesizing policies for robotics tasks. A key challenge is ensuring safety of the learned policy---e.g., that a walking robot does not fall over, or an autonomous car does not run into an obstacle. We focus on the setting where the dynamics are known, and the goal is to prove that a policy trained in simulation satisfies a given safety constraint. We build on an approach called shielding, which uses a backup policy to override the learned policy as needed to ensure safety. Our algorithm, called model predictive shielding (MPS), computes whether it is safe to use the learned policy on-the-fly instead of ahead-of-time. By doing so, our approach is computationally efficient, and can furthermore be used to ensure safety even in novel environments. Finally, we empirically demonstrate the benefits of our approach.

研究の動機と目的

• ロボットの転倒や車両の衝突を防ぐなどのロボティクスタスクにおける強化学習ポリシーの安全性を確保する課題に対処すること。
• オフライン事前処理の段階ではなく、実行時における学習済みポリシーの安全性を検証する手法を開発すること。
• 学習中に明示的に訓練されていない新規または未知の環境でも安全に動作できること。
• 安全確認を実行時まで延期することで、既存のシールド技術と比較して計算効率を向上させること。

提案手法

• MPS は、システムダイナミクスのモデルを用いて将来の状態を予測し、学習済みポリシーの行動が安全制約内に留まるかを検証する。
• 各意思決定ステップで、学習済みポリシーに従うことが安全かどうか、あるいは安全なバックアップポリシーを起動する必要があるかを動的に計算する。
• シールドメカニズムは、ローリングホライズンを用いて各タイムステップで安全を再評価するモデル予測制御（MPC）の方式を採用する。
• 学習済みポリシーの予測軌道が安全制約に違反する場合にのみ、バックアップポリシーが活性化される。
• 安全は構成上保証される。なぜなら、不安全な行動が予測された場合には、常に安全なポリシーにデフォルトされるからである。

実験結果

リサーチクエスチョン

• RQ1 安全な領域を事前に計算しないで、学習済みポリシーの安全性をリアルタイムに保証できるか？
• RQ2 安全確認を実行時に行う方法は、事前に計算されたシールドと比較して、計算コストと柔軟性の面でどのように異なるか？
• RQ3 学習中に確認されていない新規環境でも、この手法が安全性を維持できるか？
• RQ4 安全強制の頻度とポリシー性能のトレードオフは何か？

主な発見

• MPS はリアルタイムでの安全確認を可能にし、オフラインシールド手法と比較して計算オーバーヘッドを低減する。
• 各タイムステップでの動的検証により、既知の環境および新規環境の両方で安全性を保証する。
• 安全確認を実行時まで延期することで、柔軟性が向上し、過剰に保守的な事前計算を回避する。
• 実験的結果から、MPS はさまざまな動的条件下でも安全性を保証しながら、高いポリシー性能を維持していることが示された。