[論文レビュー] DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes

Xiaoyu Zhou, Lin Zhiwei+4 more|arXiv (Cornell University)|Dec 13, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

DrivingGaussian は、段階的な 3D ガウス分布による静的背景の階層的モデリングと、合成動的ガウスグラフによる動的オブジェクトのモデリングを通じて、大規模で動的な自動走行シーンの高精細再構成を実現する複合ガウススプラッティングフレームワークを提案する。LiDAR プライアーオンを組み合わせることで幾何的正確性とマルチビュー一貫性が向上し、新規ビュー合成およびコーナーケースシミュレーションにおいて最先端の性能を達成する。

ABSTRACT

We present DrivingGaussian, an efficient and effective framework for surrounding dynamic autonomous driving scenes. For complex scenes with moving objects, we first sequentially and progressively model the static background of the entire scene with incremental static 3D Gaussians. We then leverage a composite dynamic Gaussian graph to handle multiple moving objects, individually reconstructing each object and restoring their accurate positions and occlusion relationships within the scene. We further use a LiDAR prior for Gaussian Splatting to reconstruct scenes with greater details and maintain panoramic consistency. DrivingGaussian outperforms existing methods in dynamic driving scene reconstruction and enables photorealistic surround-view synthesis with high-fidelity and multi-camera consistency. Our project page is at: https://github.com/VDIGPKU/DrivingGaussian.

研究の動機と目的

• スパarsなマルチセンサデータから、大規模で動的な自動走行シーンを高精度な空間時間的再構成を実現する挑戦に応えること。
• 複雑で非有界なシーンに複数の移動オブジェクトと変化する照明を伴う状況において、NeRF や 3D ガウススプラッティングの限界を克服すること。
• 自動走行システムの安全性検証のためのコーナーケースの制御可能なシミュレーションを可能にすること。
• LiDAR プライアーオンを用いて、3D ガウスベースのシーン再構成における幾何的正確性とマルチビュー一貫性を向上させること。
• 自動走行アプリケーションにおけるリアルタイム動的シーンモデリングを可能にするスケーラブルで効率的なフレームワークの開発すること。

提案手法

• 逐次的なマルチカメラ入力から静的背景を段階的に再構成するため、インクリメンタルな静的 3D ガウス分布が用いられる。
• 各移動オブジェクトを個別にモデリングするための複合動的ガウスグラフが採用され、正確な隠蔽関係を伴ってシーンに統合される。
• ガウス分布の初期化に LiDAR ポイントクラウドを幾何的プライアーオンとして用いることで、構造的正確性が向上し、アーチファクトが低減される。
• オクルージョンとパノラマ一貫性を保持するガウススプラッティングに基づくマルチビューレンダリングパイプラインが採用される。
• テクスチャの詳細向上、ぼやけの低減、LiDAR ジオメトリに一致させるために、$L_{TSSIM}$、$L_{Robust}$、$L_{LiDAR}$ の損失関数が最適化される。
• コーナーケースシミュレーションのための動的オブジェクトの編集および挿入が制御可能である。

実験結果

リサーチクエスチョン

• RQ1 複合ガウススプラッティングフレームワークは、複数の移動オブジェクトと複雑な隠蔽関係を伴う大規模で動的な走行シーンを効果的に再構成できるか？
• RQ2 LiDAR プライアーオンを組み込むことで、3D ガウスベースのシーン再構成における幾何的正確性とマルチビュー一貫性はどのように向上するか？
• RQ3 提案手法は、既存の NeRF や 3D ガウススプラッティング手法に比べて、動的走行シーン合成においてどの程度優れているか？
• RQ4 フレームワークは、一貫性のあるマルチカメラレンダリングを伴う高精細で写真同等の周辺ビュー再構成を実現できるか？
• RQ5 DrivingGaussian は、希少または安全に深刻な走行シナリオの制御可能なシミュレーションをサポートできるか？

主な発見

• LiDAR-1M 初期化を用いる場合、KITTI-360 データセットにおいて PSNR 28.74、LPIPS 0.237 の最先端性能を達成した。
• LiDAR プライアーオンを組み込むことで幾何的忠実度が顕著に向上し、SfM や NeRF ベースの初期化手法を上回った。LiDAR-2M を用いると PSNR 28.78、SSIM 0.867 を達成した。
• 複合動的ガウスグラフモジュールは性能向上に大きく寄与しており、これを削除すると PSNR が 26.97 に低下し、動的オブジェクトモデリングにおけるその重要性が示された。
• インクリメンタルな静的 3D ガウス分布モジュールにより、大規模な静的背景の高品質再構成が可能であり、これを省略すると PSNR が 27.72 に低下した。
• LiDAR プライアーオンがなくても、PSNR 28.36、SSIM 0.851 の優れた性能を達成しており、初期化手法に対して高いロバストネスを示した。
• フレームワークは、突然の歩行者転倒や対向車両の挿入といった制御可能なコーナーケースシミュレーションを成功裏に実現し、時間的整合性とマルチセンサ一貫性を維持した。