[論文レビュー] Paracosm: A Language and Tool for Testing Autonomous Driving Systems

Rupak Majumdar, Aman Mathur+3 more|arXiv (Cornell University)|Feb 4, 2019

Adversarial Robustness in Machine Learning参考文献 61被引用数 30

ひとこと要約

Paracosm は、反応型プログラミングと離散パラメータの組み合わせカバレッジ、連続パラメータの低分散サンプリングを用いて、複雑でパラメータ化されたドライブシナリオを体系的かつ自動的に生成できる、自律走行シミュレーション向けのプログラム的テストフレームワークである。自動化・再現可能なシミュレーションベースのテストにより、ニューラルネットワークベースのドライブシステムにおけるエッジケースを効果的に発見し、高いテストカバレッジを達成する。

ABSTRACT

Systematic testing of autonomous vehicles operating in complex real-world scenarios is a difficult and expensive problem. We present Paracosm, a reactive language for writing test scenarios for autonomous driving systems. Paracosm allows users to programmatically describe complex driving situations with specific visual features, e.g., road layout in an urban environment, as well as reactive temporal behaviors of cars and pedestrians. Paracosm programs are executed on top of a game engine that provides realistic physics simulation and visual rendering. The infrastructure allows systematic exploration of the state space, both for visual features (lighting, shadows, fog) and for reactive interactions with the environment (pedestrians, other traffic). We define a notion of test coverage for Paracosm configurations based on combinatorial testing and low dispersion sequences. Paracosm comes with an automatic test case generator that uses random sampling for discrete parameters and deterministic quasi-Monte Carlo generation for continuous parameters. Through an empirical evaluation, we demonstrate the modeling and testing capabilities of Paracosm on a suite of autonomous driving systems implemented using deep neural networks developed in research and education. We show how Paracosm can expose incorrect behaviors or degraded performance.

研究の動機と目的

• 現実世界で再現が困難かつ高コストな、複雑で現実的であるシナリオにおいて、自律走行システムを体系的にテストする課題に対処すること。
• GUIベースまたは固定された環境設計に依存する既存のシミュレーションツールの限界を克服し、スケーラビリティと再現可能性を向上させること。
• シミュレーション内での道路レイアウト、環境条件、アクター行動（例：歩行者、車両）に対して、正確でプログラム的制御を可能にすること。
• 離散変数および連続変数の両方のパラメータ空間を最大限に探索するカバレッジ駆動型テスト生成戦略を提供すること。
• 特にニューラルネットワーク制御装置を内蔵するエンドツーエンドの自律走行システムにおけるコーナーケースや障害モードの発見を支援すること。

提案手法

• Paracosm は、コンポーネント（例：車両、道路、歩行者）が時間経過とともに入力ストリームを処理し、出力ストリームを生成する同期的反応型プログラミングモデルを採用している。
• 各コンポーネントは視覚的・物理的・行動的特性を備えて定義されており、ゲームエンジンや OpenDRIVE 互換フォーマット内でも現実的シミュレーションが可能である。
• テストシナリオは、環境特徴（例：照明、霧）やアクター行動（例：横断、レーン変更）を制御するパラメータ化された構成として定義される。
• 離散パラメータには k パラメータ組合せカバレッジを、連続パラメータには低分散シーケンスを用いて、パラメータ空間の均一なカバレッジを確保する。
• 自動テスト生成器は、離散パラメータに対してランダムサンプリングを、連続パラメータに対して決定的 quasi-Monte Carlo 法を用いて、カバレッジを最大化する。
• OpenDRIVE 形式での出力をサポートしており、CARLA や AirSim などの業界標準シミュレータとの相互運用性を実現している。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、複雑で現実的であるドライブシナリオの広範な範囲において自律走行システムを体系的にテストできるか？
• RQ2 ニューラルネットワークコンポーネントの内部挙動が完全に理解できない状況下で、パラメータ化されたシミュレーション環境における有効なテストカバレッジ基準は何か？
• RQ3 GUIベースまたはハードコードされたシミュレーションツールと比較して、プログラム的で反応型のフレームワークは、シナリオ生成の再現性とスケーラビリティをどのように向上させられるか？
• RQ4 k パラメータ組合せおよび低分散サンプリングを用いたカバレッジ駆動型テスト生成は、自律走行車両コントローラーの障害モードを効果的に特定できるか？
• RQ5 Paracosm は、非重要環境パラメータを変化させることで、多様で高品質なトレーニングデータをどれほど生成できるか？

主な発見

• Paracosm は、プログラム的インターフェースを通じて、道路レイアウト、環境条件、アクター行動に対する細かな制御が可能であり、複雑でパラメータ化されたドライブシナリオの作成を可能にする。
• 離散パラメータには k パラメータ組合せテスト、連続パラメータには低分散サンプリングを用いることで、パラメータ空間の高いカバレッジを達成し、テスト生成における盲点を低減する。
• 事例研究を通じて、照明や位置の変化に伴う歩行者の検出不能といった問題シナリオを効果的に発見した。
• システムは、静的画像分類ミスを超えて、自律コントローラーの閉ループフィードバック挙動を検証する長時間のテストシナリオを生成できることを示した。
• 非重要パラメータ（例：車両の色、歩行者の位置）を変化させることで、意図した挙動を維持したままラベル付きトレーニングデータの生成が可能であり、データ拡張を可能にする。
• OpenDRIVE エクスポートにより、業界標準シミュレータとの相互運用性を備えており、実用的採用の可能性を高めている。