[論文レビュー] MagicDrive: Street View Generation with Diverse 3D Geometry Control

Ruiyuan Gao, Kai Chen+5 more|arXiv (Cornell University)|Oct 4, 2023

Spatial Cognition and Navigation被引用数 10

ひとこと要約

MagicDrive は、BEV/3D アノテーションに条件付けされたマルチビューストリート画像を生成し、道路と物体の別々のエンコーディングと、複数カメラの一貫性を確保するクロスビューアテンションを組み合わせ、合成データで BEV セグメンテーションと 3D 物体検出を向上させます。

ABSTRACT

Recent advancements in diffusion models have significantly enhanced the data synthesis with 2D control. Yet, precise 3D control in street view generation, crucial for 3D perception tasks, remains elusive. Specifically, utilizing Bird's-Eye View (BEV) as the primary condition often leads to challenges in geometry control (e.g., height), affecting the representation of object shapes, occlusion patterns, and road surface elevations, all of which are essential to perception data synthesis, especially for 3D object detection tasks. In this paper, we introduce MagicDrive, a novel street view generation framework, offering diverse 3D geometry controls including camera poses, road maps, and 3D bounding boxes, together with textual descriptions, achieved through tailored encoding strategies. Besides, our design incorporates a cross-view attention module, ensuring consistency across multiple camera views. With MagicDrive, we achieve high-fidelity street-view image & video synthesis that captures nuanced 3D geometry and various scene descriptions, enhancing tasks like BEV segmentation and 3D object detection.

研究の動機と目的

• 自動運転における高コストなデータ収集の課題と、現実的で制御可能なストリートビュー合成の必要性を喚起する。
• BEVマップや3Dボックスとシーンテキストを活用して、マルチビューのストリート画像を生成する拡散ベースのフレームワークを開発する。
• 道路と物体の別々のエンコーダとクロスビューアテンションモジュールを介して、マルチビューの一貫性を向上させる。
• 気象や時間帯などの柔軟な属性制御を実現し、下流の知覚タスクに対するデータ拡張の利点を示す。

提案手法

• シーンとカメラ姿勢の条件付けを伴う潜在拡散モデル（Stable Diffusion）を用いて操作する。
• CLIP テキストエンコーダを用いた、クロスアテンションとフーリエ埋め込みポーズによるシーンレベル情報（テキストとカメラポーズ）のエンコード。
• 3D バウンディングボックスを、クラス埋め込みとフーリエ埋め込みボックス座標を用いた別個のクロスアテンション経路でエンコード。
• 道路マップを加算的エンコーダーブランチでエンコードし、格子状の BEV 情報を注入。
• 連続するカメラ視点間で情報を伝播させるクロスビューアテンションモジュールを導入し、一貫性を確保。
• 分類子なしガイダンス（CFG）で訓練し、幾何学的変換能力を向上させるために不可視ボックスを追加する。

Figure 1: Multi-camera street view generation from MagicDrive . MagicDrive can generate continuous camera views with controls from the road map, object boxes, and text ( e.g . , weather).

実験結果

リサーチクエスチョン

• RQ1 BEVマップと3Dボックスからストリートビュー画像を生成し、カメラ間でマルチビューの一貫性を保持するにはどうすればよいか？
• RQ2 道路マップと3Dボックス用の別々のエンコーダは、BEVのみの条件付けと比較して制御性と現実感を向上させるか？
• RQ3 拡散ベースのストリートビュー合成は、データ拡張として使用した場合、下流のBEVセグメンテーションと3D物体検出を改善できるか？
• RQ4 クロスビューアテンションがマルチカメラの一貫性と知覚タスクの性能に与える影響はどの程度か？

主な発見

手法	合成解像度	FID ↓	BEV セグメンテーション	3D 物体検出	道路 mIoU ↑	車両 mIoU ↑	mAP ↑	NDS ↑
Oracle	-	-	72.21	33.66	35.54	41.21	-	-
Oracle	224 × 400	-	72.19	33.61	23.54	31.08	-	-
BEVGen	224 × 400	25.54	50.20	5.89	-	-	-	-
BEVControl	-	24.85	60.80	26.80	-	-	-	-
MagicDrive	224 × 400	16.20	61.05	27.01	12.30	23.32	-	-
MagicDrive	272 × 736	16.59	54.24	31.05	20.85	30.26	-	-

• MagicDrive はベースラインより低い FID を達成し、より高いリアリズムを示す（FID 224x400 で 16.20、272x736 で 16.59）。
• MagicDrive による BEV セグメンテーションの向上、Vehicle mIoU が 61.05（224x400）、54.24（272x736）を達成; Road mIoU は表の文脈でそれぞれ 12.30 と 20.85 に達する。
• MagicDrive の合成データで 3D 物体検出性能が向上（224x400 で mAP 27.01、NDS 23.32; 高解像度設定での mIoU 増加が観測される）。
• BEVFusion および CVT 評価全体で、MagicDrive は BEVGen および BEVControl を上回り、より強い制御性と現実感を示す。
• アブレーションでは、E_box エンコーディングの分離と f_viz アンゲーションが、ボックスエンコーダを除去した場合と比較して車両および道路のセグメンテーション指標を改善。
• CFG の研究は最適なガイダンス設定を明らかにし、CFG の条件の一部をオフにすると道路の mIoU が向上する一方で車両案内には影響が生じ、CFG のトレードオフを示している。

Figure 2: 3D bounding boxes are crucial for street view synthesis. Two examples show that 2D boxes or BEV maps lost distance, height, and elevation. Images are generated from MagicDrive .