[論文レビュー] DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in Autonomous Driving

Wencheng Han, Dongqian Guo+2 more|arXiv (Cornell University)|Jan 8, 2024

Advanced Neural Network Applications被引用数 4

ひとこと要約

DME-Driver は、大規模ビジョン言語モデル（LVLM）を論理駆動型意思決定者として、計画指向型の認識モデルを実行者として統合することで、解釈可能性と制御精度の両方を向上させる、革新的な自動運転システムを提案する。人間ドライバーの行動論理と正確な3次元シーン認識を活用することで、完全な意思決定トレーサビリティを実現し、最高水準の計画精度（L2: 0.98m）を達成した。

ABSTRACT

In the field of autonomous driving, two important features of autonomous driving car systems are the explainability of decision logic and the accuracy of environmental perception. This paper introduces DME-Driver, a new autonomous driving system that enhances the performance and reliability of autonomous driving system. DME-Driver utilizes a powerful vision language model as the decision-maker and a planning-oriented perception model as the control signal generator. To ensure explainable and reliable driving decisions, the logical decision-maker is constructed based on a large vision language model. This model follows the logic employed by experienced human drivers and makes decisions in a similar manner. On the other hand, the generation of accurate control signals relies on precise and detailed environmental perception, which is where 3D scene perception models excel. Therefore, a planning oriented perception model is employed as the signal generator. It translates the logical decisions made by the decision-maker into accurate control signals for the self-driving cars. To effectively train the proposed model, a new dataset for autonomous driving was created. This dataset encompasses a diverse range of human driver behaviors and their underlying motivations. By leveraging this dataset, our model achieves high-precision planning accuracy through a logical thinking process.

研究の動機と目的

• エンドツーエンドの計画ベースの自動運転システムにおける解釈可能性の欠如に対処すること。
• 意思決定フィードバックを通じて認識タスクを最適化しない LLM ベースのシステムの限界を克服すること。
• 人間らしい意思決定論理と高精度な 3次元シーン認識を統合し、信頼性の高い自動走行を実現すること。
• 訓練用に人間ドライバー行動、注視ポイント、意思決定論理を捉えた新しいデータセット（HBD）を開発すること。
• 自動車における意思決定のトレーサビリティ、説明責任、人間と整合した意思決定を可能にすること。

提案手法

• 意思決定者としての LVLM は、実世界のドライブデータを用いた模倣学習により訓練され、人間ドライバーの論理的思考と推論を模倣する。
• 実行者としての計画指向型認識モデルは、高レベルの意思決定を正確な車両制御信号に変換する。
• 2段階アーキテクチャを採用：意思決定者は走行状況を推論し、論理的な指示を生成する。実行者はこれらの指示に基づいて制御信号を生成する。
• 意思決定者と実行者の出力を一致させるための整合性損失を適用し、意思決定の信頼性を向上させる。
• HBD データセットを導入し、多様な人間ドライバー行動、注視データ、意思決定論理を含め、訓練および評価に用いる。
• LVLM を用いた意思決定者の推論プロセスをログ記録することで、意思決定の完全なトレーサビリティを実現する。

Figure 1: Comparative Structures in Autonomous Driving Systems: (a) depicts an planning-oriented autonomous driving system that optimizes for overall performance using planning results, but lacks interpretability; (b) shows an LLM-based autonomous driving system capable of producing reasonable contr

実験結果

リサーチクエスチョン

• RQ1 LVLM を用いた意思決定者は、複雑な走行状況において人間ドライバーの論理を効果的に再現できるか？
• RQ2 論理的意思決定出力に従って、計画指向型認識モデルが正確な制御信号を生成できるか？
• RQ3 人間の意思決定論理と高精度な 3次元認識を統合することで、全体の計画精度とシステム信頼性が向上するか？
• RQ4 自動運転分野で最高水準のパフォーマンスを達成しつつ、解釈可能性を維持できるか？
• RQ5 意思決定者と実行者の間の整合性損失機構は、意思決定の整合性とシステムの耐性をどのように向上させるか？

主な発見

• DME-Driver は L2 誤差 0.98m の計画精度を達成し、UniAD（1.03m） や ST-P3（2.11m） といった先行手法を上回った。
• システムは優れた論理理解を示し、論理ベンチマークで 80.3 のスコアを記録した。これは LLaVA-13B（48.2） や GPT-4V（65.4） より顕著に高い。
• アブレーションスタディにより、意思決定者と実行者が両方とも不可欠であることが確認され、完全なシステムはベースラインの実行者オンative構成に比べて L2 誤差を 0.05m 減少させた。
• 真値の言語キュー（GT+Executor）を組み込むことで性能がわずかに向上し、正確な意思決定誘導の価値が示された。
• 整合性損失機構は L2 誤差をわずかに増加させた（0.98m 対 0.96m）が、意思決定と実行の整合性を顕著に向上させ、信頼性を高めた。
• HBD データセットにより、モデルは多様な人間の行動、視線パターン、意思決定の根拠を学習でき、説明可能で人間と整合した走行意思決定を支援した。

Figure 2: HBD Dataset Annotation Pipeline: There are four key steps in our dataset creation - Data Collection, Prompt Design, Manual Corrections, and Dialogue Generation, streamlining the process from raw data gathering to structured dialogue formation.