[論文レビュー] Copilot4D: Learning Unsupervised World Models for Autonomous Driving via Discrete Diffusion

Lunjun Zhang, Yuwen Xiong+4 more|arXiv (Cornell University)|Nov 2, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、自動運転のための非教師付き世界モデリングフレームワーク「Copilot4D」を提案する。この手法は、VQVAEを用いて点群観測をトークン化し、修正済みのマスク付き生成画像変換器を用いた離散拡散モデルにより、スケーラブルで並列なデコードを実現する。実世界のデータセット（NuScenes、KITTI、Argoverse2）において、1秒後予測でチェンファーディスタンスを65%以上、3秒後予測で50%以上低減し、最先端の性能を達成した。

ABSTRACT

Learning world models can teach an agent how the world works in an unsupervised manner. Even though it can be viewed as a special case of sequence modeling, progress for scaling world models on robotic applications such as autonomous driving has been somewhat less rapid than scaling language models with Generative Pre-trained Transformers (GPT). We identify two reasons as major bottlenecks: dealing with complex and unstructured observation space, and having a scalable generative model. Consequently, we propose Copilot4D, a novel world modeling approach that first tokenizes sensor observations with VQVAE, then predicts the future via discrete diffusion. To efficiently decode and denoise tokens in parallel, we recast Masked Generative Image Transformer as discrete diffusion and enhance it with a few simple changes, resulting in notable improvement. When applied to learning world models on point cloud observations, Copilot4D reduces prior SOTA Chamfer distance by more than 65% for 1s prediction, and more than 50% for 3s prediction, across NuScenes, KITTI Odometry, and Argoverse2 datasets. Our results demonstrate that discrete diffusion on tokenized agent experience can unlock the power of GPT-like unsupervised learning for robotics.

研究の動機と目的

• 複雑で非構造的な観測空間とスケーラブルな生成モデルの不足により、自動運転における非教師付き世界モデルのスケーリングが妨げられているという課題を解決すること。
• トークン化と離散拡散を組み合わせることで、ロボットエージェントにGPTに類似した非教師付き学習を可能にすること。
• 教師なしで、生のLiDAR観測から直接、高品質で多様かつ正確な将来の点群予測を実現すること。
• 異なるエゴ車両の軌道を想定した条件下で、将来のシーンがどのように変化するかをモデル化することで、反事後的推論を可能にすること。
• トークン化された観測に離散拡散を適用することで、ロボットエージェントにおけるスケーラブルかつ汎用的な世界理解が実現可能であることを示すこと。

提案手法

• 生のLiDAR点群観測を、暗黙のボリュームレンダリングデコーダーを備えたVQVAEを用いてトークン化し、離散的潜在表現を学習する。
• 逆方向のプロセスでマスキングされたトークンをノイズ除去することで、将来の点群トークンを生成する離散拡散モデルを適用する。
• マスク付き生成画像変換器（MaskGIT）を離散拡散フレームワークに再設計し、アーキテクチャの自動回帰的品質を保ちながら、複数のトークンを並列でデコード可能にする。
• 空間的（BEV）および時間的ブロックを交互に配置したTransformerアーキテクチャを用い、トークン化された世界状態における時空間的依存関係をモデル化する。
• 推論時にトップ3のカテゴリカルサンプリングを採用し、言語モデルと同様に生成の多様性と品質を向上させる。
• 過去の観測と将来のエゴ車両のポーズを条件として、行動条件付きの将来予測を生成する。

実験結果

リサーチクエスチョン

• RQ1 VQVAE埋め込み済み点群に離散拡散を適用することで、自動運転における非教師付き将来点群予測で最先端の性能を達成できるか？
• RQ2 VQVAEトークン化と離散拡散の組み合わせにより、複雑な3次元シーンダイナミクスのスケーラブルで並列的かつ高精度な生成が可能になるか？
• RQ3 世界モデルは多様な将来の結果を学習し、反事後的エゴ車両行動に対して適切に反応できるか？
• RQ4 本手法は、多様なドライブベンチマークにおいて、チェンファーディスタンスという指標で先行SOTAと定量的に比較してどうなるか？
• RQ5 モデルは、シーンに新たに進入する車両を想起したり、周囲のエージェントの反応的行動を予測できる程度はどれほどか？

主な発見

• 本手法は、NuScenes、KITTIオドメトリ、Argoverse2の各データセットにおいて、1秒後の将来点群予測でチェンファーディスタンスを65%〜75%まで低減した。
• 3秒予測では、先行SOTAと比較してチェンファーディスタンスに50%以上の相対的改善を達成し、長時間予測における優れた一般化性能を示した。
• 定性的な結果から、モデルは多様で現実的である複数の将来予測を生成できており、車両同士の相互作用や運動パターンといったシーンダイナミクスを捉えていることが分かった。
• 反事後的エゴ車両軌道が与えられた場合、モデルは一貫した代替の将来を的確に想像できており、衝突を避けるためにブレーキをかけるような反応的行動も再現した。
• 失敗事例から、新規に進入する車両の予測や長時間予測のダイナミクスのモデル化に限界があることが判明したが、これはデータおよびモデルスケールの制限によるものであり、アーキテクチャ上の欠陥ではない。
• アブレーションスタディにより、トップ3サンプリングを用いた離散拡散と修正済みのMaskGITアーキテクチャが、ベースラインの自動回帰的または非拡散手法と比較して、生成品質と多様性を顕著に向上させていることが確認された。