[論文レビュー] A Method for Classifying Test Bench Configurations in a Scenario-Based Test Approach for Automated Vehicles

Markus Steimle, Till Menzel+1 more|arXiv (Cornell University)|May 22, 2019

Autonomous Vehicle Technology and Safety参考文献 4被引用数 4

ひとこと要約

本稿では、自動運転車のシナリオベーステストにおけるテストベンチ構成の体系的でレーダーチャートに基づく分類手法を提案する。車両動態、環境センシング、ユーザーインタラクションなどの機能的次元を、シミュレーション、エミュレーション、実環境の各段階にわたり定義することで、テストベンチ構成の曖昧さのない分類が可能となり、検証ニーズに応じた最適な構成へのテストケースの自動的かつ効率的な割り当ての基盤が構築される。

ABSTRACT

The introduction of automated vehicles demands a way to prove their safe operation. However, validating the safety of automated vehicles is still an unsolved problem. While the scenario-based test approach seems to provide a possible solution, it requires the execution of a high amount of test cases. Several test benches, from actual test vehicles to partly or fully simulated environments, are available, but choosing the optimal test bench, e.g. in terms of required execution time and costs, is a difficult task. Every test bench provides different elements, e.g. simulation models which can be used for test case execution. The composition of elements at a specific test bench is called test bench configuration. This test bench configuration determines the actual performance of a test bench and, therefore, whether the run of a particular test case provides valid test case results with respect to the intended purpose, e.g. a safety validation. For an effective and efficient test case execution, a method is required to assign test cases to the most appropriate test bench configuration. Therefore, it is indispensable to have a method to classify test bench configurations in a clear and reproducible manner. In this paper, we propose a method for classifying test benches and test bench configurations and illustrate the classification method with some examples. The classification method serves as a basis for a systematic assignment of test cases to test bench configurations which allows for an effective and efficient test case execution.

研究の動機と目的

• シナリオベーステストにおける膨大な数のテストケースを考慮した場合に、自動運転車を検証するための最適なテストベンチ構成を選択する課題に対処すること。
• スケールに応じて実行不可能な、手作業による熟練者主導のシミュレーションモデルおよびテストベンチ構成の選択の限界を克服すること。
• 機能的能力および構成要素の組み合わせに基づいて、テストベンチ構成を形式的かつ再現可能に分類する手法を提供すること。
• 安全性の検証に適した結果が得られるように、テストケースを最も適切なテストベンチ構成に体系的かつ自動的に割り当てることで、有効な結果を保証すること。
• テストベンチの能力とテストケースの要件を一致させることで、効率的かつ費用対効果の高いテストの基盤を確立すること。

提案手法

• 自動運転車の機能的システムアーキテクチャのインターフェースに基づいて機能的次元を定義し、ユーザーおよび環境との相互作用を含む。
• 分類を3段階（1：シミュレーション、2：エミュレーション、3：実環境）に構造化し、忠実度および物理的統合度が向上する順に並べる。
• レーダーチャートを用いてテストベンチ構成を可視化し、軸を次元（例：車両動態、環境センサ）とし、各段階における利用可能な要素を示す。
• 各次元における利用可能なシミュレーション、エミュレーション、実世界の要素の組み合わせとして、各テストベンチ構成を一意にモデル化する。
• 各次元における要素の存在および種別（例：単軌条モデル対二軌条モデルの車両動態モデル）を明確に定義することで、曖昧さのない分類を保証する。
• 具体的な事例（例：ソフトウェアインザループテストベンチ、物理的テスト車両）にこの分類を適用し、実用性と明確さを実証する。

実験結果

リサーチクエスチョン

• RQ1 自動運転車の検証における自動テストケース割り当てを支援するため、テストベンチ構成を体系的に分類する方法は何か？
• RQ2 自動運転車のシナリオベーステストに用いられるテストベンチの能力を表現するために、どのような機能的次元が不可欠か？
• RQ3 シミュレーション要素（例：車両動態、センサモデル）の忠実度および構成を、テストベンチ構成間で形式的に捉え、比較する方法は何か？
• RQ4 提案された分類は、手作業による熟練者による選択に比べて、どのようにより効率的かつ効果的なテストケース実行を可能にするか？
• RQ5 この分類手法により、構成の選択に基づいて、安全性の検証に適した有効なテストケース結果のみが生成されることを保証できるか？

主な発見

• 提案された分類手法により、定義された機能的次元を有するレーダーチャートを用いて、テストベンチ構成の曖昧さのない再現可能な特徴付けが可能になる。
• 各テストベンチ構成は、車両動態や環境センシングなどの次元における利用可能な要素（例：シミュレーションモデル）の組み合わせによって一意に定義される。
• この手法により、ソフトウェアインザループテストベンチにおいて、単軌条モデルと二軌条モデルを用いた2つの異なる構成が特定可能であり、構成の差別化が実証された。
• 分類により、必要な検証忠実度に合致する構成へのテストケースの体系的割り当てが可能となり、テストの効率が向上する。
• この手法は、将来的なテストケース割り当ての自動化のための形式的基盤を提供し、主観的な熟練者判断への依存を低減する。
• 具体的な事例（ソフトウェアインザループテストベンチおよび物理的テスト車両）を通じた検証により、実用的応用性が示された。