[論文レビュー] Language-Guided Traffic Simulation via Scene-Level Diffusion

Ziyuan Zhong, Davis Rempe+6 more|arXiv (Cornell University)|Jun 10, 2023

Traffic Prediction and Management Techniques被引用数 9

ひとこと要約

CTG++は、言語を介して指示を受けるリアルで制御可能な交通シミュレーションを実現する、シーンレベルの条件付き拡散モデルと空間-時間トランスフォーマーをバックボーンとするモデルを提案します。LLM生成の differentiable loss によってガイドされます。

ABSTRACT

Realistic and controllable traffic simulation is a core capability that is necessary to accelerate autonomous vehicle (AV) development. However, current approaches for controlling learning-based traffic models require significant domain expertise and are difficult for practitioners to use. To remedy this, we present CTG++, a scene-level conditional diffusion model that can be guided by language instructions. Developing this requires tackling two challenges: the need for a realistic and controllable traffic model backbone, and an effective method to interface with a traffic model using language. To address these challenges, we first propose a scene-level diffusion model equipped with a spatio-temporal transformer backbone, which generates realistic and controllable traffic. We then harness a large language model (LLM) to convert a user's query into a loss function, guiding the diffusion model towards query-compliant generation. Through comprehensive evaluation, we demonstrate the effectiveness of our proposed method in generating realistic, query-compliant traffic simulations.

研究の動機と目的

• 現場レベルでのマルチエージェント相互作用をモデル化する、現実的で制御可能な交通シミュレーション backbone の開発。
• ユーザーに優しい言語ベースの交通生成制御の実現。
• 自然言語の指示を、拡散過程を導く differentiable loss によって交通挙動へ橋渡しする。
• 現実性、安定性、ルール遵守の観点で、提案モデルをベースラインと比較評価する。

提案手法

• シーン全体のエージェントを同時にモデル化する、空間-時間トランスフォーマーをバックボーンとしたシーンレベルの条件付き拡散モデルを提案する。
• 軌跡をアクションと状態の系列として表現し、文脈に条件づけてアクション軌跡上で拡散を行う。
• マルチエージェント相互作用を捉えるため、 temporal、spatial、map の注意機構を交互に用いたエージェント中心の座標系を採用する。
• 推論時に言語クエリを微分可能な損失関数へ変換するLLMを組み込み、拡散過程をガイドする。
• 損失の勾配を介して拡散過程へガイダンスを適用し、クエリ適合的な軌跡生成を実現する。
• 現実的で多様な挙動を学習するため、実世界の運転データ（nuScenes）で学習する。

実験結果

リサーチクエスチョン

• RQ1 シーンレベルの拡散モデルは、交通軌跡における現実的なマルチエージェント相互作用を捉えられるか。
• RQ2 言語誘導の損失関数は、現実性と安定性を維持しつつ、ユーザー指定のルールを満たすよう拡散生成の交通を誘導できるか。
• RQ3 言語に基づく、シーンレベルのアプローチは、ルール遵守と相互作用の現実性の点で、エージェントレベルのモデルよりも優れているか。
• RQ4 マルチエージェント交通シミュレーションにおけるエージェント中心の座標系と空間注意の使用がどのような影響を及ぼすか。

主な発見

• CTG++は、ほとんどのGPT生成ルール設定で、基準モデルと比較して衝突/オフロードの失敗率を低く抑える。
• CTG++は、複数の STL および GPT由来のルールに対して、安定性、ルール遵守、現実性のバランスを基準より良く保つ。
• 空間-時間トランスフォーマーとエッジ認識 attention を備えたシーンレベルモデルは、相互作用のモデリングを改善し、非現実的な軌跡を減らす。
• LLMベースの損失ガイダンスは、各ルールのための特別な報酬設計なしに、柔軟で自然言語の制御を可能にする。
• アブレーションにより、エッジ情報とエージェント中心の座標系が現実性の維持と衝突回避に重要であることが示される。