[論文レビュー] scenoRITA: Generating Less-Redundant, Safety-Critical and Motion Sickness-Inducing Scenarios for Autonomous Vehicles

Sumaya Almanee, Xiafa Wu+3 more|arXiv (Cornell University)|Dec 17, 2021

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

scenoRITA は、完全に変更可能な障害物表現と、5つのテストオラクル（3つは安全（衝突、急加速、不適切な車線変更））を用いた自律走行車両（AV）の検索ベーステストフレームワークであり、多様で重複のない、安全に深刻な影響を与える、かつ不快感を引き起こす走行シナリオを生成する。ランダム法および部分的に変更可能な手法と比較して、違反検出率はそれぞれ23.47%および24.21%向上し、1つのシナリオあたり63.92秒で1,026件の固有の違反を達成した。

ABSTRACT

There is tremendous global enthusiasm for research, development, and deployment of autonomous vehicles (AVs), e.g., self-driving taxis and trucks from Waymo and Baidu. The current practice for testing AVs uses virtual tests-where AVs are tested in software simulations-since they offer a more efficient and safer alternative compared to field operational tests. Specifically, search-based approaches are used to find particularly critical situations. These approaches provide an opportunity to automatically generate tests; however, systematically creating valid and effective tests for AV software remains a major challenge. To address this challenge, we introduce scenoRITA, a test generation approach for AVs that uses evolutionary algorithms with (1) a novel gene representation that allows obstacles to be fully mutable, hence, resulting in more reported violations, (2) 5 test oracles to determine both safety and motion sickness-inducing violations, and (3) a novel technique to identify and eliminate duplicate tests. Our extensive evaluation shows that scenoRITA can produce effective driving scenarios that expose an ego car to safety critical situations. scenoRITA generated tests that resulted in a total of 1,026 unique violations, increasing the number of reported violations by 23.47% and 24.21% compared to random test generation and state-of-the-art partially-mutable test generation, respectively.

研究の動機と目的

• 自律走行車両（AV）ソフトウェアのテストのため、体系的かつ非重複的で、安全に深刻な影響を与える、かつ不快感を引き起こすシナリオを生成する課題に対処すること。
• 部分的に変更可能な障害物と限定的なテストオラクルを用いる従来の検索ベーステスト手法の限界、特に乗客の快適性や不快感を無視する点を克服すること。
• AV計画システムにおける安全および不快感を引き起こす行動のドメイン固有のオラクルを統合することで、安全性の保証と乗客体験の向上を図ること。
• テスト生成中に重複するシナリオを検出・削除する新技術を導入することで、テストの重複を低減すること。
• 生産用AVシステム（Baidu Apollo）上でフレームワークを評価し、ランダム法および最先端の部分的に変更可能なアプローチと比較して、優れた違反検出能力を示すこと。

提案手法

• scenoRITA は、障害物の位置、速度、進行方向、種別、サイズ、移動性といった属性を完全に変更可能な新しい遺伝子表現を用いた進化的アルゴリズムを採用しており、多様で妥当な障害物の軌道を保証する。
• 5つのテストオラクル（衝突検出、急加速検出、不適切な車線変更、急加速、急ブレーキング）を統合し、Apolloの走行行動評価指標に基づいて各々のフィットネス関数にマッピングする。
• 公式な出典（例：自動運転レベルの基準である SAE J3016 や Apollo の行動ガイドライン）から得たドメイン固有の制約を用いて、現実的かつ妥当なシナリオ生成を保証する。
• 進化的プロセス中に重複するシナリオを同定・削除する新技術の重複検出手法を導入し、テストの多様性と効率性を向上させる。
• 従来の研究で制限されていた動作（車線維持、車線変更、曲がり、Uターン、車線合流など）を超えて、幅広い障害物の動きをサポートする。
• Baidu Apollo（レベル4のオープンソースAVソフトウェアスタック）上で評価し、制御されたシミュレーション環境を用いて違反検出率とシナリオの多様性を測定する。

実験結果

リサーチクエスチョン

• RQ1 進化的テスト生成における完全に変更可能な障害物表現が、AVテストにおける固有の安全および不快感を引き起こす違反の数を顕著に増加させることができるか？
• RQ2 3つの安全関連と2つの不快感関連のオラクルを用いるscenoRITAの手法が、1つまたは2つのオラクルしか使用しない従来の手法と比較して、重要な違反を検出する能力にどのように差をつけるか？
• RQ3 提案された重複検出技術が、既存の手法と比較して生成されたテストシナリオの重複をどの程度低減するか？
• RQ4 同じ時間予算内において、scenoRITA はランダムテスト生成および最先端の部分的に変更可能なアプローチを上回る違反検出率とシナリオの多様性を達成できるか？
• RQ5 フレームワークは、急な動きを伴うエッジケースを含む、計画部のストレスをかける複雑で現実的な交通シナリオを効果的に生成できるか？

主な発見

• scenoRITA は、合計で1,026件の固有の違反を生成し、その内訳は衝突386件、速度違反21件、不適切な車線変更291件、急加速132件、急ブレーキング196件であった。
• 同じ時間予算（1シナリオあたり63.92秒）内において、ランダムテスト生成法と比較して23.47%、最先端の部分的に変更可能なアプローチ（scenoRITA⁻）と比較して24.21%の違反数増加を達成した。
• 完全に変更可能な障害物表現の使用により、属性の一部のみを変更する手法と比較して、より多様で複雑なシナリオ生成が可能となり、固有の違反数の増加に寄与した。
• 新規の重複検出技術により、重複が顕著に低減され、生成されたシナリオが一意で、テストカバレッジに意味的に寄与することが保証された。
• 急加速および急ブレーキングに起因する不快感を引き起こすオラクルの統合により、従来のテストで見過ごされていた不快感関連のエッジケースが明らかになった。これは、AVテストにおいて乗客の快適性を統合することが重要であることを示している。
• 生産用レベル4AVシステム（Baidu Apollo）における評価により、scenoRITA が計画部に効果的にストレスをかけることが確認された。AVソフトウェアにおいて、計画部が最もエラーを起こしやすい部分であることは広く知られている。