[論文レビュー] Testing of Autonomous Driving Systems: Where Are We and Where Should We Go?

Guannan Lou, Yao Deng+3 more|arXiv (Cornell University)|Jun 23, 2021

Software Testing and Debugging Techniques参考文献 69被引用数 4

ひとこと要約

本論文は、10名のADS開発者とのインタビューと100名の実務者を対象としたアンケート調査を通じて、自律走行システム（ADS）のテスト手法とニーズに関する包括的な実証的調査を提示している。7つの一般的なテスト手法と、コーナーケース検出、テスト加速、シナリオ作成、データラベリングの4つの新たなニーズを同定した一方で、複数モジュールシステムをほとんど無視しており、テスト速度やツール支援といった実務ニーズについても十分に検討されていない、現在のSE研究における顕著なギャップを明らかにした。

ABSTRACT

Autonomous driving has shown great potential to reform modern transportation. Yet its reliability and safety have drawn a lot of attention and concerns. Compared with traditional software systems, autonomous driving systems (ADSs) often use deep neural networks in tandem with logic-based modules. This new paradigm poses unique challenges for software testing. Despite the recent development of new ADS testing techniques, it is not clear to what extent those techniques have addressed the needs of ADS practitioners. To fill this gap, we present the first comprehensive study to identify the current practices and needs of ADS testing. We conducted semi-structured interviews with developers from 10 autonomous driving companies and surveyed 100 developers who have worked on autonomous driving systems. A systematic analysis of the interview and survey data revealed 7 common practices and 4 emerging needs of autonomous driving testing. Through a comprehensive literature review, we developed a taxonomy of existing ADS testing techniques and analyzed the gap between ADS research and practitioners' needs. Finally, we proposed several future directions for SE researchers, such as developing test reduction techniques to accelerate simulation-based ADS testing.

研究の動機と目的

• 自律走行システム（ADS）のテストにおける現在の産業的実践、特に現実の開発環境における実践を理解すること。
• 既存のソフトウェア工学（SE）研究が十分にカバーしていない、ADS実務者による新たなテストニーズを同定すること。
• 既存のSE研究におけるADSテスト手法と、産業界実務者の実際のニーズや実践との整合性を評価すること。
• 実証的証拠に基づいた今後の研究方向性を提示することで、学術的研究と産業実務のギャップを埋めること。

提案手法

• 多様な自律走行企業に所属する10名の開発者に対して、半構造化インタビューを実施し、現実のテスト手法と課題を調査した。
• 1,978名のADS開発者を対象に大規模なアンケートを設計・配布し、100件の有効な回答を収集することで、インタビューの結果を定量的に検証した。
• 117編のSE会議・学術誌論文を系統的レビューし、ADSテストに焦点を当てた42編に絞って、既存の技術の分類法を構築した。
• 質的インタビューデータ、定量的アンケート結果、文献レビューの結果を三角測定することで、パターン、ギャップ、研究機会を同定した。
• テーマ分析を用い、インタビューおよびアンケート回答のコード化の一貫性を確保するため、評価者間信頼性（CohenのKappa = 0.85）を測定した。
• 同定されたギャップに基づき、特にテスト削減、シナリオ生成、複雑なADSワークフローにおけるツール支援の分野で、今後の研究方向性を提案した。

実験結果

リサーチクエスチョン

• RQ1 自律走行システムのテストにおける現在の産業的実践は何か？
• RQ2 特にツールと手法の観点から、ADS実務者が求める新たなテストニーズは何か？
• RQ3 既存のソフトウェア工学研究におけるADSテスト手法は、産業界のニーズや実践とどの程度整合しているか？
• RQ4 実際の運用において、エンドツーエンドモデルとマルチモジュールADSアーキテクチャの間でテスト実践にどのような差があるか？

主な発見

• システムレベルのメトリクス、たとえば一貫性や遅延といった7つの一般的なテスト手法が同定された。これらは通常のモデル精度メトリクスでは捉えられない。
• 4つの重要な新たなニーズが明らかになった：コーナーケースや予期しない走行シナリオの特定、テストの加速（特にシミュレーションの加速）、複雑な走行シナリオの構築におけるツール支援、データラベリング支援。
• SE研究ではコーナーケース検出が十分にカバーされているが、テスト加速およびシナリオ／ツール支援は、既存の文献においてはまだ十分に検討されていない。
• 大多数の既存ADSテスト手法はエンドツーエンドのディープラーニングモデルを想定しているが、産業界のシステムは、認識ネットワークと論理ベースのコントローラーを組み合わせたモジュラーなアーキテクチャにますます依存している。
• 現在のSE研究と産業界ニーズの間には顕著な不整合があり、特にシミュレーションベースのテストにおける実用的ツール支援やパフォーマンス最適化の分野で顕著である。
• 本研究では、シミュレーションテストの加速という主要なブottleneckを克服するため、テスト削減技術が今後の重要な研究分野であると同定した。