[論文レビュー] Coverage-based Scene Fuzzing for Virtual Autonomous Driving Testing

Zhisheng Hu, Shengjian Guo+2 more|arXiv (Cornell University)|Jun 2, 2021

Autonomous Vehicle Technology and Safety参考文献 11被引用数 11

ひとこと要約

本論文では、車両の位置、速度、天候状態などの環境パラメータを変異させることで、仮想の自動運転テストケースの多様な動的設定を自動生成する、カバレッジ駆動型のファズィング手法ASFを提案する。トラジェクトリーカバレッジをフィードバックメトリクスとして用いることで、ランダムまたは手動でのテストでは困難な、衝突やニアコラジョンを含むレアで高リスクのシナリオを効率的に発見でき、シミュレーション環境における安全性のテスト効率と有効性を顕著に向上させる。

ABSTRACT

Simulation-based virtual testing has become an essential step to ensure the safety of autonomous driving systems. Testers need to handcraft the virtual driving scenes and configure various environmental settings like surrounding traffic, weather conditions, etc. Due to the huge amount of configuration possibilities, the human efforts are subject to the inefficiency in detecting flaws in industry-class autonomous driving system. This paper proposes a coverage-driven fuzzing technique to automatically generate diverse configuration parameters to form new driving scenes. Experimental results show that our fuzzing method can significantly reduce the cost in deriving new risky scenes from the initial setup designed by testers. We expect automated fuzzing will become a common practice in virtual testing for autonomous driving systems.

研究の動機と目的

• 動的環境要因の広大な設定空間のため、仮想的安全性テストが非効率的かつ不完全であるという課題に対処する。
• 手作業による時間のかかるテストケース作成に依存を減らし、多様で挑戦的な仮想ドライブシナリオの自動生成を実現する。
• フィードバック駆動型の変異戦略を活用して、衝突やニアコラジョンを含む、稀で危険なコーナーケースの検出を向上させる。
• 物理的道路テストを補完する大規模な仮想安全性テストに適したスケーラブルで実用的な技術を開発する。

提案手法

• シミュレーションにおける自律走行車両のトラジェクトリの多様性と新規性を評価するための、新しいフィードバックメトリクスとしてトラジェクトリーカバレッジを提案する。
• 周囲の車両の位置、速度、天候状態などの動的設定を変更するための標的型変異戦略を設計する。
• トラジェクトリーカバレッジに基づいてテストケースを優先順位付けし、新たなまたは逸脱した走行行動を生成するものを進化させるフィードバックループを統合する。
• 衝突を重要なイベントとして扱い、人間による分析のため記録することで、自律走行システム内の微細な論理的欠陥の検出を可能にする。
• 実際の仮想ドライブ状況下で手法を評価するため、SVLシミュレータとApollo 5.0.0をテストベッドとして使用する。
• 新規または危険なトラジェクトリを生成する可能性の高い設定空間の領域を優先的に探索するためのシード選択および変異戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 仮想自動運転テストにおける自動テストケース生成は、どのようにして稀で危険なシナリオをより効率的に発見できるように改善できるか？
• RQ2 トラジェクトリーカバレッジをフィードバックメトリクスとして用いることで、高リスクのドライブ設定を特定するファズィングの有効性はどの程度向上するか？
• RQ3 カバレッジ駆動型アプローチは、フィットネス駆動型またはランダムファズィングを上回り、自動運転シミュレーションにおける衝突やニアコラジョンを発見する上で優れているか？
• RQ4 動的設定空間を最大限に探索し、テストの多様性と欠陥検出を最大化するために、どの変異戦略が最も効果的か？

主な発見

• ASFは40回のファズィング反復内で2件の衝突事例と1件のニアコラジョン事例を発見したが、AV-Fuzzerは1件のニアコラジョン、ランダムファズィングはいずれの事例も発見しなかった。
• 交通コーンとの衝突は、Apolloのレーン変更ロジックにおける論理的欠陥に起因しており、二重黄線を越える前にレーン境界の種別を確認しなかったためであった。
• トラジェクトリーカバレッジに基づくフィードバックメカニズムにより、ASFはより広範な走行行動の探索が可能となり、深刻なコーナーケースを発見する可能性が高まった。
• 手動またはランダムアプローチと比較して、高影響力のテストケースを生成するのに要する時間と作業量を顕著に削減した。
• Apollo 5.0.0に以前検出されなかった複数の欠陥が、その後のApollo 6.xリリースで確認され修正されたことから、ASFの実用的影響が裏付けられた。
• カバレッジと欠陥検出の両面で、ASFはAV-Fuzzerおよびランダムファズィングを上回り、仮想安全性テストにおけるカバレッジ駆動型フィードバックの優位性を実証した。