[論文レビュー] Towards Knowledge-driven Autonomous Driving

Xin Li, Yeqi Bai+15 more|arXiv (Cornell University)|Dec 7, 2023

Image Processing and 3D Reconstruction被引用数 11

ひとこと要約

この論文は知識主導の自動運転を調査し、データ駆動システムの限界を主張し、データセット/ベンチマーク、環境、運転者エージェントを核とするフレームワークを概説する。LLMs、世界モデル、ニューラルレンダリングを活用して認知、一般化、ライフロングラーニングを実現する。

ABSTRACT

This paper explores the emerging knowledge-driven autonomous driving technologies. Our investigation highlights the limitations of current autonomous driving systems, in particular their sensitivity to data bias, difficulty in handling long-tail scenarios, and lack of interpretability. Conversely, knowledge-driven methods with the abilities of cognition, generalization and life-long learning emerge as a promising way to overcome these challenges. This paper delves into the essence of knowledge-driven autonomous driving and examines its core components: dataset \& benchmark, environment, and driver agent. By leveraging large language models, world models, neural rendering, and other advanced artificial intelligence techniques, these components collectively contribute to a more holistic, adaptive, and intelligent autonomous driving system. The paper systematically organizes and reviews previous research efforts in this area, and provides insights and guidance for future research and practical applications of autonomous driving. We will continually share the latest updates on cutting-edge developments in knowledge-driven autonomous driving along with the relevant valuable open-source resources at: \url{https://github.com/PJLab-ADG/awesome-knowledge-driven-AD}.

研究の動機と目的

• データ駆動型自動運転の限界を強調する（データバイアス、長尾、解釈性の欠如）。
• 知識駆動パラダイムとその三つの中核要素を定義する：データセット＆ベンチマーク、環境、運転者エージェント。
• 現行の研究動向をレビューし、LLMsや世界モデルなどの先端AI技術を用いた知識駆動ソリューションを提案する。
• 知識駆動自動運転の将来の研究と応用に向けた機会、課題、実践的な指針を論じる。

提案手法

• 知識駆動自動運転の文献を体系的にレビューする。
• データセット＆ベンチマーク、環境、運転者エージェントの三つの中核要素を備えたフレームワークを提示する。
• LLMs、世界モデル、ニューラルレンダリングを含む実現技術について論じる。
• 知覚から認知への移行と、それが計画と制御に与える影響を分析する。
• オープンソース資源とコミュニティ主導の更新（GitHubリンク） の役割を強調する。

Figure 1: Comparison of three technical paradigms to autonomous driving. (1) The rule-based paradigm utilizes the understanding of driving scenarios that are summarized in the scenario semantic space to guide driving. (2) The data-based paradigm tends to model the driving scenarios into the represen

実験結果

リサーチクエスチョン

• RQ1 知識駆動型自動運転システムとは何か。
• RQ2 データセット、環境、運転者エージェントをどのように設計すれば知識駆動学習を可能にできるか。
• RQ3 一般化と解釈性の点で、知識駆動運転はデータ駆動法よりどのような利点をもたらすか。
• RQ4 知識駆動自動運転の主な課題と潜在的な解決策は何か。

主な発見

• 知識駆動型の方法は、運転表現に人間の知識と常識を組み込むことで領域を横断して一般化することを目指す。
• LLMsと世界モデルは推論、場面理解、将来内容予測を実現する。
• ニューラルレンダリングは閉ループシミュレーションを通じて現実的で多様な環境と稀なコーナーケースをサポートする。
• エンドツーエンド設計とモジュラー設計の間にはトレードオフがあり、知識駆動アプローチは解釈可能で知識に根ざした出力を追求する。
• 本論は知識駆動自動運転の進歩を促進する有用なオープンソース資源とベンチマークを指摘している。

Figure 2: Comparison between the single-domain data-driven paradigm (left), cross-domain data-driven paradigm (center), and the knowledge-driven paradigm (right). The gray $\times$ in the driving scenario represents corner cases, while it transitions to green $\times$ , indicating that the method ca