[論文レビュー] TARGET: Automated Scenario Generation from Traffic Rules for Testing Autonomous Vehicles via Validated LLM-Guided Knowledge Extraction

Yao Deng|arXiv (Cornell University)|May 10, 2023

Software Testing and Debugging Techniques被引用数 4

ひとこと要約

TARGET は、自然言語による交通ルールから大規模言語モデル（GPT-4）を用いてルールを抽出・マッピングし、独自のドメイン固有言語（DSL）に変換することで、自律走行テストシナリオのエンドツーエンド自動生成を実現するフレームワークである。このフレームワークはシミュレーション実行可能なシナリオスクリプトを生成し、4つのADSで700件以上のルール違反やシステム障害を特定した。詳細なログにより、効率的なデバッグが可能となった。

ABSTRACT

Recent incidents with autonomous vehicles highlight the need for rigorous testing to ensure safety and robustness. Constructing test scenarios for autonomous driving systems (ADSs), however, is labor-intensive. We propose TARGET, an end-to-end framework that automatically generates test scenarios from traffic rules. To address complexity, we leverage a Large Language Model (LLM) to extract knowledge from traffic rules. To mitigate hallucinations caused by large context during input processing, we introduce a domain-specific language (DSL) designed to be syntactically simple and compositional. This design allows the LLM to learn and generate test scenarios in a modular manner while enabling syntactic and semantic validation for each component. Based on these validated representations, TARGET synthesizes executable scripts to render scenarios in simulation. Evaluated seven ADSs with 284 scenarios derived from 54 traffic rules, TARGET uncovered 610 rule violations, collisions, and other issues. For each violation, TARGET generates scenario recordings and detailed logs, aiding root cause analysis. Two identified issues were confirmed by ADS developers: one linked to an existing bug report and the other to limited ADS functionality.

研究の動機と目的

• 自然言語による交通ルールを用いた自律走行システム（ADS）のテストシナリオを定義する作業の人的負担が大きく、誤りが生じやすいという課題に対処すること。
• 従来のDSLやNLPベースのルール抽出手法が、手動による単純化を要するか、文法的複雑さのため問題を抱えるという制限を克服すること。
• 現実世界の自然言語による交通ルール記述から、直接的に自動的・スケーラブルかつ正確にテストシナリオを生成できる仕組みを提供すること。
• 人的作業の削減とエッジケース・ルール違反のカバレッジ向上により、ADSテストの効率性と有効性を向上させること。
• 検出されたADS行動上の問題の原因究明と検証を支援するため、詳細な診断レポートとシナリオ記録を提供すること。

提案手法

• 交通ルールに基づくテストシナリオを記述可能な、簡潔な構文を持つ軽量で表現力の高いドメイン固有言語（DSL）を設計する。
• GPT-4を用い、文脈に応じた少数の例を提示するプロンプト工学的手法を段階的に適用することで、自然言語による交通ルールを解析し、DSL表現にマッピングする。
• 辞書検索と階層的マップベースルート探索を用いて、シナリオパラメータを正確に埋め込むテンプレートベースのシナリオ生成パイプラインを実装する。
• CarlaシミュレータのネイティブAPIを統合し、シミュレーション実行可能な実行可能スクリプトを生成する。
• LLM推論と文法的検証を組み合わせたルールパースパイプラインを適用し、DSL準拠性の確保とパース精度の向上を図る。
• 各テスト実行に対して、ルール違反、衝突、ナビゲーション障害のログを含む包括的なテストレポートとシナリオ記録を生成する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、自然言語による交通ルールから、テストシナリオ生成に適した形式的DSL表現に、キーモジュールを的確に抽出・構造化できるか？
• RQ2 提案されたLLMガイドドパースパイプラインは、手動または従来のNLP手法と比較して、現実世界の交通ルールを実行可能シナリオスクリプトに正確に変換する能力において、どの程度効果的か？
• RQ3 生成されたシナリオは、自律走行システムに既存または未知のルール違反やシステム障害をどの程度効果的に特定できるか？
• RQ4 このフレームワークの自動シナリオ生成は、人的なテスト作成負荷をどの程度軽減できるか、かつ高いシナリオ多様性とカバレッジを維持できるか？
• RQ5 このフレームワークが生成する診断出力（ログと記録）は、検出されたADS問題の信頼性のある原因究明を支援できるか？

主な発見

• TARGET は、テキサス運転手冊の交通ルールを用いて、8つの多様なマップで合計217件のテストシナリオを生成した。
• このフレームワークは、LAV、MMFN、AUTO、Autowareの4つのADSで、合計約700件の異なる誤動作（ルール違反、衝突、ナビゲーション障害を含む）を特定した。
• アブレーションスタディにより、提示されたLLMガイドドパースパイプラインが、単独でのGPT-4生成より優れていることが確認され、構造的なプロンプト工学の価値が示された。
• ルールパーサーは、ベンチマーク交通ルールの91.8％をDSLで正しく表現できており、自然言語交通ルールの意味論的理解が強いことが示された。
• ADS開発者によって確認された2件の未知の問題が発覚した：1件はAutowareにおける静的物体の検出失敗（認識障害）に関連するもので、もう1件はMMFNにおける局所化の不正確さに関連するものだった。
• 検出された問題の1件は、公開のバグレポートにすでに記載されていたため、フレームワークが現実のADS欠陥を特定できる能力を裏付けるものとなった。