[論文レビュー] ShieldNN: A Provably Safe NN Filter for Unsafe NN Controllers

James Ferlez, Mahmoud Elnaggar+2 more|arXiv (Cornell University)|Jun 16, 2020

Adversarial Robustness in Machine Learning参考文献 28被引用数 16

ひとこと要約

ShieldNNは、運動学的バイシクルモデル（KBM）でモデル化された自動運転車両の、メモリレスなコントローラーからの不安全な制御入力を補正する、証明可能で安全なReLUベースのニューラルネットワークフィルタである。新規のバリア関数とリアルタイムフィルタリングを活用することで、CARLAシミュレーションにおいて障害物衝突を99.4–100％削減し、強化学習の訓練中に28％のサンプル効率向上を達成した。

ABSTRACT

In this paper, we develop a novel closed-form Control Barrier Function (CBF) and associated controller shield for the Kinematic Bicycle Model (KBM) with respect to obstacle avoidance. The proposed CBF and shield -- designed by an algorithm we call ShieldNN -- provide two crucial advantages over existing methodologies. First, ShieldNN considers steering and velocity constraints directly with the non-affine KBM dynamics; this is in contrast to more general methods, which typically consider only affine dynamics and do not guarantee invariance properties under control constraints. Second, ShieldNN provides a closed-form set of safe controls for each state unlike more general methods, which typically rely on optimization algorithms to generate a single instantaneous for each state. Together, these advantages make ShieldNN uniquely suited as an efficient Multi-Obstacle Safe Actions (i.e. multiple-barrier-function shielding) during training time of a Reinforcement Learning (RL) enabled Neural Network controller. We show via experiments that ShieldNN dramatically increases the completion rate of RL training episodes in the presence of multiple obstacles, thus establishing the value of ShieldNN in training RL-based controllers.

研究の動機と目的

• 任意のメモリレスなニューラルネットワークコントローラーに対して、証明可能な安全性を保証するコントローラーに依存しない安全フィルタの開発。
• 特に強化学習（DRL）環境において、データで学習されたコントローラーに証明可能な安全性保証が欠如している問題に対処する。
• 安全な状態の訪問を防ぐ安全フィルタを統合することで、DRL訓練中のサンプル効率を向上させる。
• 動的障害物を伴うシミュレーション環境において、フィルタの安全性と頑健性を検証する。
• 運動学的バイシクルモデル（KBM）の動的特性に特化した、新たなバリア関数クラスの設計。

提案手法

• KBM用に設計された、3つの実数パラメータ（安全半径を含む）を持つ、新規のバリア関数クラスを採用し、安全な制御集合を定義する。
• 本手法は2つの構成要素から成る：選択されたバリア関数を正当に検証する検証モジュール、および安全フィルタ用ニューラルネットワークを設計する合成モジュール。
• 安全フィルタは、入力としてコントローラーの原始的な制御入力とシステム状態を受け取り、安全な制御行動を出力するReLUベースのニューラルネットワークである。
• 不安全な制御行動はフィルタリングされ、安全な代替行動に置き換えられるが、安全な行動はそのまま通過する。
• 閉ループシステムがバリア関数で定義された安全集合内に留まるように、フィルタを学習させる。
• 本フレームワークは、カメラとLIDARから得られる状態入力を用いたPPOエージェントを搭載したCARLAシミュレーション環境に統合されている。

実験結果

リサーチクエスチョン

• RQ1 運動学的バイシクルモデルにおいて、任意のコントローラーに対して証明可能な安全性を保証するニューラルネットワークフィルタを設計できるか？
• RQ2 ShieldNNは、自動運転車両の制御シナリオにおいて、障害物衝突の削減にどの程度効果的か？
• RQ3 DRL訓練中にShieldNNを統合することで、安全フィルタリングなしで訓練した場合と比較して、サンプル効率が向上するか？
• RQ4 分布シフトを伴う新しい環境にデプロイされた場合、ShieldNNはどの程度の頑健性を示すか？
• RQ5 学習ベースの制御文脈において、証明可能な安全性保証を可能にするために、KBM用に新規のバリア関数を構築できるか？

主な発見

• DRLで学習されたコントローラーを用いたCARLAシミュレーションにおいて、ShieldNNは障害物衝突数を99.4％～100％削減した。
• 訓練中にShieldNNを活用しなかった場合、同じエピソード数において累積報酬が28％少なく、フィルタの統合によりサンプル効率が向上したことが示された。
• 新しい都市道路環境での転移学習シナリオにおいて、ShieldNNを有効にしたエージェントは200回のテストエピソードすべてで障害物を回避し、一般化性能の高さを示した。
• ShieldNNを搭載したエージェントは、障害物回避においてより慎重な行動を示し、安全性マージンの向上が示唆された。
• 検証モジュールは、KBM用のバリア関数を正しく検証し、フィルタ設計における正当な安全性保証を可能にした。
• ShieldNNを安全フィルタとして統合することで、安全な軌道上でのコントローラーの性能が損なわれず、意図した動作が維持された。