[論文レビュー] Automated Test Cases Prioritization for Self-driving Cars in Virtual Environments.

Christian Birchler, Sajad Khatiri+3 more|arXiv (Cornell University)|Jul 20, 2021

Software Testing and Debugging Techniques参考文献 58被引用数 5

ひとこと要約

SDC-Prioritizerは、自己走行車のためのメタヒューリスティックなテストケース優先順位付けフレームワークであり、実行履歴データを必要とせずに静的レーン特徴に基づいて仮想テストを優先順位付けする。時間予算内において、ランダムまたはグリーディベースラインと比較して、安全に深刻な障害を2倍に検出可能であり、テスト実行コストに0.34％のわずかなオーバーヘッドしか発生しない。

ABSTRACT

Testing with simulation environments helps to identify critical failing scenarios emerging autonomous systems such as self-driving cars (SDCs) and are safer than in-field operational tests. However, these tests are very expensive and are too many to be run frequently within limited time constraints. In this paper, we investigate test case prioritization techniques to increase the ability to detect SDC regression faults with virtual tests earlier. Our approach, called SDC-Prioritizer, prioritizes virtual tests for SDCs according to static features of the roads used within the driving scenarios. These features are collected without running the tests and do not require past execution results. SDC-Prioritizer utilizes meta-heuristics to prioritize the test cases using diversity metrics (black-box heuristics) computed on these static features. Our empirical study conducted in the SDC domain shows that SDC-Prioritizer doubles the number of safety-critical failures that virtual tests can detect at the same level of execution time compared to baselines: random and greedy-based test case orderings. Furthermore, this meta-heuristic search performs statistically better than both baselines in terms of detecting safety-critical failures. SDC-Prioritizer effectively prioritize test cases for SDCs with a large improvement in fault detection while its overhead (up to 0.34% of the test execution cost) is negligible.

研究の動機と目的

• 自己走行車（SDCs）の仮想環境を用いたテストにおける高コストかつ大規模な課題に対処すること。
• シミュレーションテスト中に安全に深刻なレgressional障害を早期に検出することを改善すること。
• 過去の実行結果に依存せず、静的レーン特徴にのみ依存するテストケース優先順位付け手法を開発すること。
• 時間制約のある環境において、テストのオーバーヘッドを最小限に抑えながら、障害検出効率を最大化すること。
• 静的レーン特徴を用いた多様性メトリクスに基づくメタヒューリスティック探索戦略の有効性を評価すること。

提案手法

• SDC-Prioritizerは、テストを実行せずにドライブシナリオから静的レーン特徴（例：道路種別、カーブ度、レーン数）を抽出する。
• これらの静的特徴に基づいて、ブラックボックスヒューリスティクスである多様性メトリクスを計算し、テストケースのカバレッジとばらつきを推定する。
• 遺伝的アルゴリズムやシミュレーテッドアニーリングなどのメタヒューリスティック探索アルゴリズムを用いて、安全に深刻な障害を検出する可能性の高いテストケースを順位付けする。
• 優先順位戦略は、テストスイート実行の初期段階で障害検出率を最大化することに焦点を当てる。
• 計算コストのオーバーヘッドは最大で総テスト実行コストの0.34％にとどまり、軽量な設計である。
• 実世界のSDCシミュレーション環境を用い、代表的なテストケースセットを用いてアプローチを評価した。

実験結果

リサーチクエスチョン

• RQ1 静的レーン特徴に基づくテストケース優先順位付けは、SDCシミュレーションにおける安全に深刻な障害の早期検出を改善できるか？
• RQ2 SDC-Prioritizerは、ランダムおよびグリーディなテスト順序戦略と比較して、障害検出効果性においてどのように差をつけるか？
• RQ3 テスト実行コストの観点から、SDC-Prioritizerのパフォーマンスオーバーヘッドはどの程度か？
• RQ4 静的特徴に多様性メトリクスを適用したメタヒューリスティック探索の使用は、障害検出において統計的に有意な改善をもたらすか？
• RQ5 実行履歴を一切必要としない静的特徴のみで、SDCテストにおけるテスト優先順位付けを効果的に導けるか？

主な発見

• SDC-Prioritizerは、同じ時間予算内において、ランダムなテスト順序と比較して、安全に深刻な障害を2倍に検出できる。
• また、グリーディベースのテスト順序戦略よりも安全に深刻な障害を検出する点で優れていることが確認され、統計的に有意な改善が得られた。
• この改善は、総テスト実行コストの最大0.34％というわずかな計算オーバーヘッドで達成された。
• 静的レーン特徴と多様性メトリクスの使用により、過去の実行結果を必要とせずに効果的な優先順位付けが可能となった。
• メタヒューリスティック探索戦略により、テストスイートの探索空間を効果的に走査し、高影響度のテストケースを初期段階で優先できるようになった。
• 実証的評価により、静的特徴に基づく優先順位付けが、SDC仮想テストにおいてスケーラブルかつ効果的であることが確認された。