[論文レビュー] AdvSim: Generating Safety-Critical Scenarios for Self-Driving Vehicles

Jingkang Wang, Ava Pun+6 more|arXiv (Cornell University)|Jan 16, 2021

Adversarial Robustness in Machine Learning参考文献 49被引用数 9

ひとこと要約

AdvSim は、アクターの軌道を摂動させ、それに応じてセンサデータを更新することで、LiDARに基づく自動運転システム向けに物理的に現実的で安全上の懸念があるシナリオを生成する敵対的フレームワークである。多様なシステムにおいて数千もの失敗誘発シナリオを同定し、敵対的訓練に用いることで耐障害性を向上させ、ベンチマークシナリオで32.0%の衝突率を達成した。

ABSTRACT

As self-driving systems become better, simulating scenarios where the autonomy stack may fail becomes more important. Traditionally, those scenarios are generated for a few scenes with respect to the planning module that takes ground-truth actor states as input. This does not scale and cannot identify all possible autonomy failures, such as perception failures due to occlusion. In this paper, we propose AdvSim, an adversarial framework to generate safety-critical scenarios for any LiDAR-based autonomy system. Given an initial traffic scenario, AdvSim modifies the actors' trajectories in a physically plausible manner and updates the LiDAR sensor data to match the perturbed world. Importantly, by simulating directly from sensor data, we obtain adversarial scenarios that are safety-critical for the full autonomy stack. Our experiments show that our approach is general and can identify thousands of semantically meaningful safety-critical scenarios for a wide range of modern self-driving systems. Furthermore, we show that the robustness and safety of these systems can be further improved by training them with scenarios generated by AdvSim.

研究の動機と目的

• 自動運転車両のフルオートノミーサイクリックスに、スケーラブルで物理的に現実的かつ安全上の懸念があるシナリオ生成の不足に対処すること。
• 従来の手動または計画モジュールのみのシナリオ生成の限界を克服し、認識およびマルチアクターの失敗モードを逃さないようすること。
• 摂動された軌道からのセンサレベルの影響をシミュレートすることで、LiDARベースの自律走行システムに対する自動的でブラックボックスの敵対的テストを可能にすること。
• 失敗モードを露呈する敵対的に生成されたシナリオを用いた訓練により、システムの耐障害性を向上させること。
• 複数のアクターと現実的な運動摂動を含む、意味的に意味のある複雑な交通シナリオを生成すること。

提案手法

• AdvSim は、物理的に現実的なアクター軌道摂動に対するブラックボックス敵対的攻撃として、シナリオ生成を定式化する。
• 物理的妥当性を確保するための軌道サンプリングと衝突回避を伴いながら、アクター行動（例：わずかなずらめ、急な車線変更）を摂動させることで、初期の交通シナリオを変更する。
• 摂動された世界状態に基づき、リアルタイムでLiDARセンサデータを更新し、SDVがシーンをどのように観測するかをシミュレートする。
• 衝突確率、人間運転の軌道からのL2距離、および運動快適性（急激な加速度、横方向加速度）といった複数の指標を組み合わせた敵対的目的関数を用いる。
• 衝突確率を最大化する摂動を探索するために、さまざまなブラックボックス最適化アルゴリズム（例：ベイズ最適化、NES、Bandit-TD）を用いる。
• マルチアクター摂動をサポートし、認識、予測、計画を含むフルオートノミーサイクリックスのエンドツーエンド評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 アクター軌道への敵対的摂動は、フルオートノミーサイクリックスに障害を引き起こす物理的に現実的で安全上の懸念があるシナリオを生成できるか？
• RQ2 摂動対象のアクター数が、生成されたシナリオの複雑さと障害発生確率にどのように影響するか？
• RQ3 滑らかでない低次元のコスト関数において、敵対的シナリオを生成するのに最も効率的なブラックボックス最適化アルゴリズムは何か？
• RQ4 敵対的に生成されたシナリオを訓練に用いることで、自動運転システムの耐障害性と安全性を向上させることができるか？
• RQ5 異なる敵対的目的関数は、多様で効果的な障害誘発シナリオを生成する上でどのように比較されるか？

主な発見

• 5体のアクターを摂動させた場合（m=5）、AdvSim は5秒以内に32.0%の衝突率を達成し、最近縁距離最小化（13.5%）やマックスマージン損失（18.3%）といったベースラインを著しく上回った。
• 模倣学習、衝突、安全コストを組み合わせたハイブリッド敵対的目的関数 𝒪₃ が、最高の障害発生率（32.0%）と最悪の計画性能（人間軌道L2：6.63 m、急激な加速度：2.18 m/s³）を達成した。
• ベイズ最適化（BO）が最も効率的な探索アルゴリズムであり、わずか75クエリで最高の衝突率（28.5%）を達成し、GA（1600クエリ）やNES（400クエリ）を上回った。
• 摂動対象のアクター数がm=3からm=5に増加するにつれ、シナリオの複雑さは上昇したが、物理的に現実的な軌道を特定するのが難しくなったため、衝突率は低下した。
• AdvSim が生成したシナリオを用いた敵対的訓練により、システムの耐障害性が向上した。これは、本フレームワークが安全を事前に強化するために使用可能であることを示している。
• 定性的な結果から、AdvSim は、保護なし左折や車線合流の衝突といった、マルチアクター相互作用を含む意味的に意味のある失敗事例を生成していることがわかった。