[論文レビュー] Efficient Black-box Assessment of Autonomous Vehicle Safety

Justin Norden, Matthew O’Kelly+1 more|arXiv (Cornell University)|Dec 8, 2019

Autonomous Vehicle Technology and Safety参考文献 43被引用数 54

ひとこと要約

本論文は、適応的多段分割と適応的重要度サンプリングを用いたブラックボックスのリスクベースフレームワークを提案し、AVシミュレーションにおける希少イベント発生確率を効率的に推定する方法を示し、Comma AIのOpenPilotを評価することで実証する。

ABSTRACT

While autonomous vehicle (AV) technology has shown substantial progress, we still lack tools for rigorous and scalable testing. Real-world testing, the $ extit{de-facto}$ evaluation method, is dangerous to the public. Moreover, due to the rare nature of failures, billions of miles of driving are needed to statistically validate performance claims. Thus, the industry has largely turned to simulation to evaluate AV systems. However, having a simulation stack alone is not a solution. A simulation testing framework needs to prioritize which scenarios to run, learn how the chosen scenarios provide coverage of failure modes, and rank failure scenarios in order of importance. We implement a simulation testing framework that evaluates an entire modern AV system as a black box. This framework estimates the probability of accidents under a base distribution governing standard traffic behavior. In order to accelerate rare-event probability evaluation, we efficiently learn to identify and rank failure scenarios via adaptive importance-sampling methods. Using this framework, we conduct the first independent evaluation of a full-stack commercial AV system, Comma AI's OpenPilot.

研究の動機と目的

• 基本的な交通分布下で、AVの安全性を希少イベント確率として定量化するリスクベースのフレームワークを定義する。
• 自動運転方針へのブラックボックスアクセスを必要とする、適応的で偏りのない希少イベント推定量を開発する。
• 検出された故障から故障モードの生成モデルを学習し、リスクを優先順位付け・ランク付けする。
• 完全スタックのAV方針を決定論的で同期的に評価できる、スケーラブルなシミュレーションシステムを実装する。
• OpenPilotの事故確率を推定し、はるかに少ないシミュレーション数で効率的な信頼区間を示す事例研究でアプローチを実証する。

提案手法

• 安全性を、標準的な交通挙動をモデル化する基礎分布の下で p_gamma = P0(f(X) < gamma) と形式化する。
• 中間レベルに渡る条件付き確率の積として p_gamma を分解するために、 multilevel splitting による適応的ノンパラメトリック重要度サンプリングを使用する。
• 各条件付き確率を推定するために MCMC を適用し、固定破棄分率 delta でオンライン的にレベルを適応させる。
• バイアス/分散保証と O(log(1/p_gamma)) の分散スケーリングを持つ適応型多段分割（AMS）を提案する。
• AMS によって発見された故障の分布から、正規化フローを用いて故障モードの生成モデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 内部構造を公開せずにブラックボックスのAV方針を安全性評価できるか？
• RQ2 偏りのないリスク測度で、AVシミュレーションにおける希少で高リスクなイベントをいかに効率的に推定できるか？
• RQ3 適応型サンプリングは高確率故障シナリオを特定・優先順位付けし、スケーラブルな方法で対応できるか？
• RQ4 リスクベースでシミュレーション主導のフレームワークは、フルスタックAVシステムの信頼性の高い安全性定量を提供するか？

主な発見

• このフレームワークにより、フルスタックの商用AV方針（OpenPilot）の最初の独立評価が可能になる。
• この方法は、標準的方法よりおよそ2桁少ないシミュレーション数でOpenPilotの事故率を1250マイルに1回という推定を行う。
• AMSは、相対分散が log(1/p_gamma) に比例する偏りのない推定を提供し、1/p_gamma ではない。
• 世界の確率論的でリスクベースのモデルを学習し、故障シナリオを発生可能性の大きさでランク付けできる。
• スケーラブルで分散されたシミュレーション環境は、リアルタイムの非同期ソフトウェアの決定論的で同期的な実行をサポートする。