[論文レビュー] SceneDiffuser: Efficient and Controllable Driving Simulation Initialization and Rollout

Chiyu Max Jiang, Yanchao Bai+13 more|arXiv (Cornell University)|Dec 5, 2024

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

SceneDiffuserは、推論コストを16倍削減しながら、一般化されたハード制約とLLMガイドドプロンプティングを通じて軌道の現実性と制御可能性を向上させることで、自己車両のシミュレーションのための統合拡散モデルを導入した。このモデルは、Waymo Open Sim Agents Challengeにおいて最先端の性能を達成し、拡散ベースのモデルの中で最高のクローズドループ結果を記録した。

ABSTRACT

Realistic and interactive scene simulation is a key prerequisite for autonomous vehicle (AV) development. In this work, we present SceneDiffuser, a scene-level diffusion prior designed for traffic simulation. It offers a unified framework that addresses two key stages of simulation: scene initialization, which involves generating initial traffic layouts, and scene rollout, which encompasses the closed-loop simulation of agent behaviors. While diffusion models have been proven effective in learning realistic and multimodal agent distributions, several challenges remain, including controllability, maintaining realism in closed-loop simulations, and ensuring inference efficiency. To address these issues, we introduce amortized diffusion for simulation. This novel diffusion denoising paradigm amortizes the computational cost of denoising over future simulation steps, significantly reducing the cost per rollout step (16x less inference steps) while also mitigating closed-loop errors. We further enhance controllability through the introduction of generalized hard constraints, a simple yet effective inference-time constraint mechanism, as well as language-based constrained scene generation via few-shot prompting of a large language model (LLM). Our investigations into model scaling reveal that increased computational resources significantly improve overall simulation realism. We demonstrate the effectiveness of our approach on the Waymo Open Sim Agents Challenge, achieving top open-loop performance and the best closed-loop performance among diffusion models.

研究の動機と目的

• 高い計算コストと分布ずれの問題に直面する、効率的で現実的なクローズドループ自動運転シミュレーションを解決すること。
• エージェント、ポーズ、サイズ、種別、タイムステップを統合的にモデル化する、1つの拡散ベースの生成フレームワークとしてのシーン初期化とロールアウトを統合すること。
• 自然言語駆動のシナリオ生成のための、大規模言語モデル（LLM）の少数-shotプロンプティングと一般化されたハード制約を用いて、シミュレーションの制御性を向上させること。
• モデルスケーリングがシミュレーションの現実性に与える影響を調査し、最適な計算リソースのトレードオフを同定すること。
• Waymo Open Sim Agents Challengeにおいて、オープンループおよびクローズドループ両方のシミュレーションで最先端の性能を示すこと。

提案手法

• 推論ステップを16倍削減する、複数の将来のシミュレーションステップにわたるノイズ除去の計算コストを amortize する、新しいノイズ除去パラダイムであるアモアタイズド拡散を導入した。
• ログドドライブシーン上でエンドツーエンドに訓練された統合的空間時間的拡散モデルを採用し、エージェントの軌道、ポーズ、サイズ、種別、タイムステップを同時に予測した。
• 生成中に、エージェントの位置、速度、行動などのシナリオレベルのルールを強制する柔軟な推論時メカニズムとして、一般化されたハード制約を適用した。
• 自然言語記述を構造化された制約に変換するため、大規模言語モデル（LLM）の少数-shotプロンプティングを用いて、合成シナリオ生成のための制約を生成した。
• 行動予測、シーン生成、ランダムなコントロールマスクのマルチタスク共同訓練を採用し、一般化性能を向上させるとともに、衝突率とオフロード率を低下させた。
• AdaLN-Zeroとエージェントごとの空間アテンションを用いたクロスアテンション条件付けにより、共同エージェント分布をモデル化し、軌道の一貫性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 統合的拡散モデルは、自動運転シミュレーションにおけるシーン初期化とクローズドループロールアウトの両方を効果的に処理できるか？
• RQ2 アモアタイズド拡散は、推論コストを削減しながらも、クローズドループシミュレーションにおける軌道の現実性を維持または向上させられるか？
• RQ3 一般化されたハード制約とLLMガイドドプロンプティングは、制御可能で多様なシナリオ生成をどの程度可能にするか？
• RQ4 モデルサイズと時間分解能のスケーリングは、シミュレーションの現実性とパフォーマンスにどのように影響するか？
• RQ5 自己回帰ベースのベースラインと比較して、拡散ベースのモデルはクローズドループシミュレーションで最先端の性能を達成できるか？

主な発見

• SceneDiffuserは、Waymo Open Sim Agents Challengeにおいて、オープンループで最良のパフォーマンスを達成し、拡散ベースのモデルの中で最高のクローズドループ性能を記録した。
• アモアタイズド拡散は、1ロールアウトステップあたりの推論コストを16倍削減し、同時にクローズドループ誤差を著しく低減し、軌道の一貫性を向上させた。
• スケーリングによるモデルサイズと時間分解能の増加は、シミュレーションの現実性を向上させ、結合分布がログデータの分布をよく追跡した。
• 一般化されたハード制約の使用により、エージェント行動とシナリオレイアウトに対する効果的な制御が可能になり、手動およびLLM生成の両方の制約生成をサポートした。
• マルチタスク共同訓練により、シミュレーションのロバスト性が向上し、単一タスクベースラインと比較して衝突率とオフロード率が低下した。
• AdaLN-Zeroをクロスアテンションに置き換えると、現実性パフォーマンスが7.99%低下し、エージェントごとの空間アテンションを削除すると衝突率が著しく上昇した。これは、これらのモジュールの重要性を確認している。