[論文レビュー] A Survey on Automated Driving System Testing: Landscapes and Trends

Shuncheng Tang, Zhenya Zhang+9 more|arXiv (Cornell University)|Jun 13, 2022

Vehicular Ad Hoc Networks (VANETs)被引用数 5

ひとこと要約

本サーベイは、自動運転システム（ADS）のテストに関する包括的な分析を提供しており、モジュールレベルおよびシステムレベルのテスト手法をカバーしている。モジュール間の技術的差異を特定し、シミュレーションと実世界のテストの間のギャップを強調するとともに、ADSの安全性と信頼性を向上させるための主な課題と今後の研究方向性を提示している。

ABSTRACT

Automated Driving Systems (ADS) have made great achievements in recent years thanks to the efforts from both academia and industry. A typical ADS is composed of multiple modules, including sensing, perception, planning, and control, which brings together the latest advances in different domains. Despite these achievements, safety assurance of ADS is of great significance, since unsafe behavior of ADS can bring catastrophic consequences. Testing has been recognized as an important system validation approach that aims to expose unsafe system behavior; however, in the context of ADS, it is extremely challenging to devise effective testing techniques, due to the high complexity and multidisciplinarity of the systems. There has been great much literature that focuses on the testing of ADS, and a number of surveys have also emerged to summarize the technical advances. Most of the surveys focus on the system-level testing performed within software simulators, and they thereby ignore the distinct features of different modules. In this paper, we provide a comprehensive survey on the existing ADS testing literature, which takes into account both module-level and system-level testing. Specifically, we make the following contributions: (1) we survey the module-level testing techniques for ADS and highlight the technical differences affected by the features of different modules; (2) we also survey the system-level testing techniques, with focuses on the empirical studies that summarize the issues occurring in system development or deployment, the problems due to the collaborations between different modules, and the gap between ADS testing in simulators and the real world; (3) we identify the challenges and opportunities in ADS testing, which pave the path to the future research in this field.

研究の動機と目的

• ADSテストの文献を包括的に概説し、モジュールレベルおよびシステムレベルのテスト手法を統合すること。
• 各ADSモジュール（センシング、パーセプション、プランニング、コントロール）の機能的・要件的差異に起因するテスト手法、オラクル、適切性基準の違いを分析すること。
• シミュレーションベースのテストと実世界での展開の間の継続的なギャップを特定・議論すること、特に現在のシミュレータの限界を含む。
• 特に複雑で相互作用の多い環境において、故障診断、テストオラクル、テスト適切性の課題を強調すること。
• 特に現実性、効率性、安全性保証の向上を目的とした、ADSテストにおける今後の研究機会を提示すること。

提案手法

• ソフトウェア工学、AI、交通、セキュリティの分野における多様な会議・ジャーナルから220篇以上の論文を対象とした体系的文献レビュー。
• テスト手法、テストオラクル設計、テスト適切性基準を焦点として、モジュールタイプ別にテスト技術を分類すること。
• 実地研究を通じたシステムレベルのテスト分析、具体的には障害分析とモジュール間相互作用の問題。
• 高精細シミュレータ（例：CARLA、LGSVL）を用いたシミュレーションベースのテストの評価、現実性とカバー範囲に重点を置く。
• ハイブリッドリアリティテストパラダイム（例：HiL、ViL、SciL）の調査を通じ、シミュレーションと実世界テストの橋渡しを図ること。
• テスト文献および実世界での展開報告書における繰り返し現れる問題をテーマ分析することで、主要な課題を同定すること。

実験結果

リサーチクエスチョン

• RQ1 センシング、パーセプション、プランニング、コントロールといった主要ADSモジュール間で、テスト手法、オラクル、適切性基準にどのような差が生じるか？
• RQ2 特にモジュール間相互作用と障害伝播に起因するシステムレベルのテストにおける主な課題と制限は何か？
• RQ3 現実世界のテストと比較して、現在のシミュレーションベースのテスト環境の現実性、カバー範囲、信頼性はどの程度か？
• RQ4 ADSの障害における故障診断および原因究明に関する未解決の研究課題は何か？
• RQ5 シミュレーションベースのテストを、実世界テストのコストとリスクを低減するために効果的に活用する方法は何か？

主な発見

• モジュールレベルのテストは機能によって顕著に異なる：パーセプションのテストはセンサーノイズや悪意ある入力への耐性を重視するが、プランニングおよびコントロールのテストは軌道の安全性と制御安定性を重視する。
• システムレベルの障害は、通常は単一モジュールの故障ではなく、複雑なモジュール間相互作用に起因するため、相互モジュールテスト戦略の必要性が浮き彫りになる。
• 技術的進歩にもかかわらず、シミュレータは依然として複雑な交通シナリオにおける現実世界のダイナミクスを完全に再現できず、シミュレーションと現実の間のギャップが継続的に存在する。
• ハードウェアインザループ（HiL）およびビークルインザループ（ViL）テストは広く定着しているが、シナリオインザループ（SciL）は依然として理論的であり、実用化はほとんど進んでいない。
• 各モジュール間で標準化されたオラクルやテスト適切性指標が不足しており、比較的評価や検証が困難になっている。
• シミュレーションと現実のギャップを推定する取り組みは出現しているが、その乖離を的確に定量化・緩和する統一されたフレームワークは存在しない。