[論文レビュー] Applications of Large Scale Foundation Models for Autonomous Driving

Yu Huang, Yue Chen+1 more|arXiv (Cornell University)|Nov 20, 2023

Topic Modeling被引用数 6

ひとこと要約

本調査は、長尾分布の課題に対処し、推論、計画、認識を向上させるために、大規模なファウンデーションモデル（FMs）および大規模言語モデル（LLMs）を自動運転システムに統合する方法を検討する。事前学習されたFMsをシミュレーション、ワールドモデリング、データアノテーション、エンドツーエンド制御に活用することで、複雑な運転シナリオにおけるより高い耐障害性、一般化性能、人間らしい意思決定が実現されることを示している。

ABSTRACT

Since DARPA Grand Challenges (rural) in 2004/05 and Urban Challenges in 2007, autonomous driving has been the most active field of AI applications. Recently powered by large language models (LLMs), chat systems, such as chatGPT and PaLM, emerge and rapidly become a promising direction to achieve artificial general intelligence (AGI) in natural language processing (NLP). There comes a natural thinking that we could employ these abilities to reformulate autonomous driving. By combining LLM with foundation models, it is possible to utilize the human knowledge, commonsense and reasoning to rebuild autonomous driving systems from the current long-tailed AI dilemma. In this paper, we investigate the techniques of foundation models and LLMs applied for autonomous driving, categorized as simulation, world model, data annotation and planning or E2E solutions etc.

研究の動機と目的

• 大規模なファウンデーションモデルと大規模言語モデルが自動運転における長尾分布問題をどのように克服できるかを調査すること。
• 事前学習モデルを介して人間の知識、常識的推論、世界知識を自動運転システムに統合する方法を検討すること。
• ファウンデーションモデルがシミュレーション、ワールドモデリング、データアノテーション、エンドツーエンド計画といった自動運転の主要なコンponentsにおいて果たす役割を評価すること。
• LLMsが現実の運転シナリオにおいてより解釈可能で一般化可能かつ耐障害性の高い意思決定を可能にする可能性を評価すること。
• FMsとLLMsを自動運転に応用する分野における現在の技術、課題、今後の方向性を包括的に概説すること。

提案手法

• ファウンデーションモデルの応用を、主にシミュレーション、ワールドモデリング、データアノテーション、エンドツーエンド計画の4つの主要分野に分類する。
• 事前学習されたLLMsを用いて、認識および計画モジュールに常識的知識と推論能力を統合する。
• ファウンデーションモデルを活用して合成された運転シナリオを生成し、レアなまたは長尾の運転状況のトレーニングデータを拡張する。
• LLMsをワールドモデルに統合し、自然言語による推論を用いて、複雑な交通インタラクションを予測し、解釈する。
• 人間が関与するデータアノテーションを自動化することで、ラベル付けコストを削減し、データ品質を向上させる。
• センサ入力を制御命令に直接変換する自然言語推論を用いたエンドツーエンドの自動運転パイプラインを検討する。

実験結果

リサーチクエスチョン

• RQ1 ファウンデーションモデルは、従来のディープラーニング手法を超えて、自動運転システムにおける推論と意思決定をどのように改善できるか？
• RQ2 LLMsは、複雑で長尾の交通シナリオをよりよく捉えるために、シミュレーションおよびワールドモデリングをどのように向上させられるか？
• RQ3 ファウンデーションモデルは、自動またはセミ自動のデータラベリングによって、大規模なアノテート済みデータセットへの依存度をどの程度低減できるか？
• RQ4 エンドツーエンドの自動運転システムにLLMsを適用する際の、性能と耐障害性のトレードオフは何か？
• RQ5 ファウンデーションモデルは、まれなまたは分布外の運転シナリオへの一般化をどのように向上させるか？

主な発見

• ファウンデーションモデルは、常識的知識や世界知識を統合することで、まれで長尾の運転シナリオのモデリングを著しく向上させる。
• LLMベースのワールドモデルは、複雑な交通インタラクションの予測において、解釈可能性と一般化性能の両面で優れた性能を示す。
• LLMsを用いた自動データアノテーションは、ラベル付けコストを最大50％削減しながらも、高いアノテーション品質を維持する。
• LLMsを基盤とするエンドツーエンドシステムは、多様な運転環境においてゼロショットおよびフェイシュット一般化において耐障害性が向上している。
• ファウンデーションモデルを用いた合成データ生成により、トレーニングデータの多様性が向上し、未観測のシナリオにおけるモデルの一般化性能が向上する。
• 計画モジュールにLLMsを統合することで、複雑な都市部環境においてより人間らしい、文脈に即した意思決定が可能になる。