[論文レビュー] Case Study: Verifying the Safety of an Autonomous Racing Car with a Neural Network Controller

Radoslav Ivanov, Taylor J. Carpenter+4 more|arXiv (Cornell University)|Oct 24, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 11

ひとこと要約

本論文は、LiDAR入力を用いたニューラルネットワーク（NN）コントローラーを搭載した自律走行レーシングカーの安全性を検証する事例研究を提示する。最新の検証ツールは最大約40本のLiDARレーザー線まで処理可能であるが、本研究では理想状態下においては検証結果と安全な実世界動作の間に強い相関が見られることを示した。一方で、スケーラビリティおよびLiDAR故障に対する耐性の面で未解決の課題が残っている。

ABSTRACT

This paper describes a verification case study on an autonomous racing car with a neural network (NN) controller. Although several verification approaches have been proposed over the last year, they have only been evaluated on low-dimensional systems or systems with constrained environments. To explore the limits of existing approaches, we present a challenging benchmark in which the NN takes raw LiDAR measurements as input and outputs steering for the car. We train a dozen NNs using two reinforcement learning algorithms and show that the state of the art in verification can handle systems with around 40 LiDAR rays, well short of a typical LiDAR scan with 1081 rays. Furthermore, we perform real experiments to investigate the benefits and limitations of verification with respect to the sim2real gap, i.e., the difference between a system's modeled and real performance. We identify cases, similar to the modeled environment, in which verification is strongly correlated with safe behavior. Finally, we illustrate LiDAR fault patterns that can be used to develop robust and safe reinforcement learning algorithms.

研究の動機と目的

• 神経ネットワークコントローラーを搭載した現実的で高次元なシステムにおける、既存の形式的検証ツールのスケーラビリティを評価すること。
• シミュレーションベースの検証と実世界での安全性パフォーマンスの相関関係、特にシミュレーションから実世界へのギャップ（sim2real gap）の影響を調査すること。
• 安全性を損なうLiDAR故障パターン（例：反射による誤検出）を同定し、強化学習および検証に与える影響を検討すること。
• 現在の深層強化学習（DRL）アルゴリズムが自律システム用に耐障害性があり検証可能なコントローラーを生成できる限界を評価すること。

提案手法

• 自転車動力学モデルと、通路環境における車両状態からレーザー測定値へのマッピングを実装した構造化されたLiDAR観測モデルを構築した。
• 原始的なLiDAR入力とステアリング出力を用いて、DDPGおよびTD3強化学習アルゴリズムを用いて12体のエンドツーエンドNNコントローラーを学習した。
• Verisig検証ツールを適用し、初期条件の不確実性を考慮しても、NN制御車両が壁に衝突しない（安全な範囲内に留まる）かどうかを検証した。
• LiDAR故障（例：反射による誤った負の検出）をシミュレーションに組み込み、実世界実験と故障を注入したシミュレーションの両方で衝突結果を比較した。
• 到達可能性解析を用いて、時間経過に伴う車両状態の変化を追跡した。ハイブリッドシステムモデリングとNN検証技術を統合した。
• LiDARレーザー線の数（最大約40本）およびNNサイズ（最大約250ニューロン）を変化させ、スケーラビリティと感度を評価した。

実験結果

リサーチクエスチョン

• RQ1 現在の形式的検証ツールは、高次元のLiDAR入力を用いたニューラルネットワークコントローラーを搭載した自律走行レーシングカーの複雑さを処理できるか？
• RQ2 シミュレーションでの検証結果は、実世界での展開において安全な動作をどれほど正確に予測できるのか。特にシミュレーションから実世界へのギャップ（sim2real gap）の影響は？
• RQ3 LiDAR故障パターン（例：反射）が不正な動作を引き起こす程度はどの程度で、シミュレーションで信頼性高くモデル化可能か？
• RQ4 現在の深層強化学習アルゴリズムは、安全性とLiDAR故障に耐性を持つコントローラーを生成できるか。また、そのようなコントローラーは形式的に検証可能か？

主な発見

• 最新の検証ツールVerisigは、最大約40本のLiDARレーザー線までしか処理できず、通常のLiDARスキャン（1081本）には及ばない。
• 検証結果は、反射面を最小限に抑えた理想状態では、安全な実世界動作と強い相関を示した。これは、正確なシミュレーションモデルが信頼性の高い検証を可能にすることを示している。
• 実環境における反射面の影響によりLiDAR故障が発生し、衝突が生じた。これらの故障は、LiDARレーザー線をランダムに削除することでシミュレーションで再現可能であり、同様の衝突パターンが得られた。
• LiDAR故障をシミュレーションで再現可能であったが、現在のDDPGおよびTD3アルゴリズムでは、そのような故障に耐性を持つDRLコントローラーの学習は依然として困難であった。
• 同じサイズのニューラルネットワークでも、学習アルゴリズムの違いにより入力摂動に対する感受性が異なり、初期条件のわずかな変化に対しても著しく異なる軌道を示す例が複数観察された。
• 検証のスケーラビリティは依然として主要なボトル neck であり、壁との相互作用の組み合わせの爆発的増加に起因し、LiDARレーザー線数の増加に伴い複雑性が指数関数的に増大する。