[論文レビュー] Empowering Autonomous Driving with Large Language Models: A Safety Perspective

Yixuan Wang, Ruochen Jiao+6 more|arXiv (Cornell University)|Nov 28, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、長尾状況における性能と耐障害性を向上させるために、安全確認器を用いたコンテキスト内安全学習を行うことで、自律走行システムに大規模言語モデル（LLM）を統合し、安全意識のある意思決定者としての役割を果たすことを提案する。事例研究により、LLMは文脈的推論とフィードバックループを通じて意思決定、認識、予測の各分野を向上させつつ、安全を維持できることを示している。

ABSTRACT

Autonomous Driving (AD) encounters significant safety hurdles in long-tail unforeseen driving scenarios, largely stemming from the non-interpretability and poor generalization of the deep neural networks within the AD system, particularly in out-of-distribution and uncertain data. To this end, this paper explores the integration of Large Language Models (LLMs) into AD systems, leveraging their robust common-sense knowledge and reasoning abilities. The proposed methodologies employ LLMs as intelligent decision-makers in behavioral planning, augmented with a safety verifier shield for contextual safety learning, for enhancing driving performance and safety. We present two key studies in a simulated environment: an adaptive LLM-conditioned Model Predictive Control (MPC) and an LLM-enabled interactive behavior planning scheme with a state machine. Demonstrating superior performance and safety metrics compared to state-of-the-art approaches, our approach shows the promising potential for using LLMs for autonomous vehicles.

研究の動機と目的

• 長尾状況における深層ニューラルネットワークのブラックボックス性と一般化性能の低さが引き起こす、公共の信頼の欠如と安全上の懸念を解消すること。
• LLMの推論力と一般常識的知識を活用することで、現在のAVソフトウェアスタックにおける解釈可能性と分布外一般化の限界を克服すること。
• LLMが行動レベルの意思決定者として機能し、リアルタイムでの安全確認とフィードバックを受けることで、システム信頼性を向上させる安全意識フレームワークの開発。
• 認識、予測、シミュレーションの複数のAVパイプライン部品におけるLLM統合を検討し、安全性と解釈可能性の向上を図ること。
• 将来的な研究開発を導くために、AVシステムにおけるLLM採用に向けた包括的な安全性の視点を提供すること。

提案手法

• 自然言語によるシーン記述を解釈し、車線変更や車線維持などの高レベルな運転行動を生成する、行動レベルの意思決定者としてのLLMの導入。
• リアルタイムでLLMが生成した制御入力を安全に評価する安全確認器を統合し、コンテキスト内安全学習のためのフィードバックを提供。
• 安全確認器からのフィードバックを活用してLLM出力を繰り返し精錬し、不安全な意思決定を認識・予測・行動モジュールに遡及して是正する。
• 認識分野へのLLM適用により、文脈的理解（例：工事区域、歩行者の行動）を活用した物体検出の強化と、文脈的検証による誤検出の低減。
• 予測分野におけるLLMの活用により、歴史的行動と自然言語入力を分析してドライバーの意思と攻撃的度を推定し、周囲のエージェントの予測可能性を向上。
• シミュレーション分野へのLLMの応用により、多様で人間らしい運転シナリオの生成、イベントのアノテーション、自然言語記述による危険なエッジケースの同定。

実験結果

リサーチクエスチョン

• RQ1 LLMは、長尾状況における一般常識的推論と文脈的理解を活用することで、自律走行車の意思決定を改善できるか？
• RQ2 安全確認器は、リアルタイムでの安全確認とフィードバックを保証するLLMベース意思決定パイプラインにどのように統合できるか？
• RQ3 LLMは、文脈的解釈と人間のような推論を活用することで、認識および予測モジュールをどの程度向上できるか？
• RQ4 認識、予測、シミュレーションの複数のAVパイプライン部品にLLMを統合することによる実用的利点と限界は何か？
• RQ5 LLMと安全確認器の相互作用によるコンテキスト内安全学習は、標準的なDNNベースのアプローチに比べ、システムの耐障害性と一般化性能をどの程度向上させるか？

主な発見

• LLMを行動レベルの意思決定者として統合することで、文脈的推論により、複雑かつ稀な走行状況におけるシステム性能が顕著に向上する。
• 安全確認器により、LLMが生成した行動のリアルタイムな検証が可能となり、不安全な意思決定の是正とシステム信頼性の向上を実現するフィードバックループが構築できる。
• 事例研究により、文脈的言語理解を用いた対象検出の検証によって、認識分野における誤検出の低減が確認された。
• ドライバーの行動、ジェスチャー、交通情報の解釈により、LLMは攻撃的度や意思をより的確に評価し、予測精度を向上させた。
• シミュレーションモジュールは、LLMが生成する自然言語によるシナリオ記述のおかげで、エッジケースのより広範かつ現実的なテストが可能になった。
• 遅延や幻覚の課題が存在するが、本フレームワークは、自律走行システムにおける安全性、解釈可能性、適応性の向上に強く潜在能力を示している。