[論文レビュー] DrivingDiffusion: Layout-Guided multi-view driving scene video generation with latent diffusion model

Xiaofan Li, Yifu Zhang+1 more|arXiv (Cornell University)|Oct 11, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

DrivingDiffusionは、3次元レイアウト制御を用いて高品質で時間的・空間的に一貫性のあるマルチビュー走行動画を生成する段階的潜在拡散フレームワークを提案する。クロスビュー注意機構、キーフレーム条件付け、局所的プロンプト、スライディングウィンドウ後処理を統合することで、最先端の動画一貫性とインスタンス品質を達成し、データ拡張に用いることでBEV認識性能を顕著に向上させる。

ABSTRACT

With the increasing popularity of autonomous driving based on the powerful and unified bird's-eye-view (BEV) representation, a demand for high-quality and large-scale multi-view video data with accurate annotation is urgently required. However, such large-scale multi-view data is hard to obtain due to expensive collection and annotation costs. To alleviate the problem, we propose a spatial-temporal consistent diffusion framework DrivingDiffusion, to generate realistic multi-view videos controlled by 3D layout. There are three challenges when synthesizing multi-view videos given a 3D layout: How to keep 1) cross-view consistency and 2) cross-frame consistency? 3) How to guarantee the quality of the generated instances? Our DrivingDiffusion solves the problem by cascading the multi-view single-frame image generation step, the single-view video generation step shared by multiple cameras, and post-processing that can handle long video generation. In the multi-view model, the consistency of multi-view images is ensured by information exchange between adjacent cameras. In the temporal model, we mainly query the information that needs attention in subsequent frame generation from the multi-view images of the first frame. We also introduce the local prompt to effectively improve the quality of generated instances. In post-processing, we further enhance the cross-view consistency of subsequent frames and extend the video length by employing temporal sliding window algorithm. Without any extra cost, our model can generate large-scale realistic multi-camera driving videos in complex urban scenes, fueling the downstream driving tasks. The code will be made publicly available.

研究の動機と目的

• 自律走行認識のための、大規模で高品質でマルチビューかつ時間的に一貫性のある動画データの不足に取り組む。
• 3次元レイアウトを条件入力として用いて、制御可能なマルチビュー走行動画生成を可能にする。
• 複雑な都市部のシーンにおいて、視点間およびフレーム間の一貫性を維持しながら高精細なインスタンス生成を実現する。
• 下流のBEV認識タスクをサポートするスケーラブルでエンドツーエンドの合成データ生成フレームワークを開発する。
• 拡散モデルを用いた正確な幾何学的・意味的制御を伴うマルチビュー動画生成の可能性を検討する。

提案手法

• マルチビュー単一フレーム生成モデル、共有単一ビュー動画生成モデル、および後処理の最適化ステージを組み合わせた段階的アーキテクチャ。
• 同じフレーム内の複数のカメラビュー間の空間的一貫性を強制するための幾何制約付きクロスビュー注意モジュール。
• 最初のフレームのマルチビュー特徴をコンテキストとして用いるキーフレームコントローラーにより、時間的整合性を確保。
• 車両や歩行者などの特定インスタンスの詳細で高品質な生成をガイドするための局所的プロンプトインジェクション。
• モデルのネイティブな受容野を超えて動画長を延長するための時間的スライディングウィンドウ推論。
• 最初のフレームを基準として用い、以降のフレームを再最適化するように微調整されたマルチビューモデルを用いた後処理により、長距離の一貫性を強化。

実験結果

リサーチクエスチョン

• RQ1 潜在拡散モデルは、3次元レイアウトから高視覚的忠実度を維持したまま、マルチビューかつ時間的に一貫性のある走行動画を生成できるか？
• RQ2 複数のカメラ視点から同期したフレームを生成する際、視点間の一貫性をどのように維持できるか？
• RQ3 フレーム単位のずれなしに、長期間にわたる時間的一致性を確保するためのメカニズムは何か？
• RQ4 局所的プロンプトは、車両や歩行者などの生成インスタンスの品質をどの程度向上できるか？
• RQ5 本フレームワークは、BEVベースの認識モデルのためのデータ拡張戦略としてどの程度有効か？

主な発見

• 一貫性モジュールと局所的プロンプトの組み合わせが最高の生成品質を達成し、FIDは15.83、FVDは332、Object NDSは33.1を記録した。
• 一貫性モジュールを削除すると視点間の一貫性が失われ、局所的プロンプトを削除するとインスタンス品質が低下した。両者の必要性が確認された。
• DrivingDiffusionを用いた合成データ拡張によりBEV認識性能が向上：6,000フレームの合成データを使用した場合、NDSは0.412から0.434に上昇し、mAOEは0.5613から0.5130に低下した。
• 入力の3次元レイアウトを変更することで、衝突シーンやレアシーンの動画を現実的かつ効果的に生成でき、優れた制御性を示した。
• 一貫性モジュールと局所的プロンプトの両方を含めることで、FVDは55ポイント、FIDは0.63ポイント低下し、動画および画像品質の顕著な向上が確認された。
• スライディングウィンドウ推論により、追加の訓練コストなしに長時間の動画シーケンスを生成し、視点およびフレーム間で高い一貫性を維持できる。