[論文レビュー] A Survey on Scenario-Based Testing for Automated Driving Systems in High-Fidelity Simulation

Ziyuan Zhong, Yun Tang+4 more|arXiv (Cornell University)|Dec 2, 2021

Software Testing and Debugging Techniques参考文献 116被引用数 40

ひとこと要約

このサーベイはADSの高忠実度シミュレーターにおけるシナリオベースのテストの汎用フレームワークを紹介し、最近の研究をレビューし、未解決の課題と将来の方向性を論じる。シミュレーター、システム、目的、シナリオ空間、検索アルゴリズムごとに手法を比較する。

ABSTRACT

Automated Driving Systems (ADSs) have seen rapid progress in recent years. To ensure the safety and reliability of these systems, extensive testings are being conducted before their future mass deployment. Testing the system on the road is the closest to real-world and desirable approach, but it is incredibly costly. Also, it is infeasible to cover rare corner cases using such real-world testing. Thus, a popular alternative is to evaluate an ADS's performance in some well-designed challenging scenarios, a.k.a. scenario-based testing. High-fidelity simulators have been widely used in this setting to maximize flexibility and convenience in testing what-if scenarios. Although many works have been proposed offering diverse frameworks/methods for testing specific systems, the comparisons and connections among these works are still missing. To bridge this gap, in this work, we provide a generic formulation of scenario-based testing in high-fidelity simulation and conduct a literature review on the existing works. We further compare them and present the open challenges as well as potential future research directions.

研究の動機と目的

• 高忠実度シミュレーションにおけるシナリオベースのテストの汎用的な定式化を提案する。
• 主に2018年以降の研究を、シミュレーター、対象システム、テスト目的、シナリオパラメータ空間、検索アルゴリズムの観点からレビュー・比較する。
• ADSのシナリオベースのテストにおける共通の課題とギャップを特定し、将来の研究を指針とする。
• 忠実度、移行性、テストフレームワークの効率性を向上させるための未解決の質問と方向性を議論する。

提案手法

• シナリオベースのADSテストの汎用ワークフローを提示する：シナリオ生成、実行、評価。
• 機能的、論理的、具体的の層状シナリオ表現と、パラメータを整理するためのシナリオ層モデルを定義する。
• 4つの次元（シミュレーター、テスト対象のシステム、テスト目的、検索アルゴリズム）で研究を比較する。
• 文献を整理・分析するために用いた選択と評価基準を要約する。
• シミュレーション結果と実世界の性能とのギャップ分析を議論し、潜在的な緩和策を提案する。

実験結果

リサーチクエスチョン

• RQ1 高忠実度ADSシミュレーターにおけるシナリオベースのテストの汎用的で再利用可能なフレームワークとは何か？
• RQ2 既存の研究は、シミュレーター、テスト対象シ스템、テスト目的、シナリオパラメータ空間、検索戦略の点でどのように異なるか？
• RQ3 シミュレーションベースのテストを現実世界の安全保証と整合させる際の主な課題は何か、そしてそれらに対処する方向性は何か？

主な発見

• 統一された3要素のワークフロー（シナリオ生成、実行、評価）は研究全体に共通している。
• 機能的、論理的、具体的、の階層型と5層のシナリオモデルは、比較のためにシナリオパラメータを整理するのに役立つ。
• ほとんどの研究はソフトウェア・イン・ループの高忠実度シミュレーターを使用して、さまざまなマップ、センサ、NPC挙動におけるシステムレベルのADS安全性をテストしている。
• シミュレーションから実世界へのデプロイへテスト結果を移行する際の顕著なギャップがあり、忠実度と移行性の課題を強調している。
• 未解決の課題には、シミュレーターの現実味、オープンソースのシステムの利用可能性、プラットフォームを横断したテスト手法の一般化が含まれる。