[論文レビュー] CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians

Yang Liu, He Guan+5 more|arXiv (Cornell University)|Apr 1, 2024

Computer Graphics and Visualization Techniques被引用数 8

ひとこと要約

CityGaussian (CityGS) は、分割統治トレーニングアプローチとブロック単位の Level-of-Detail 戦略を導入し、巨大スケールの 3D Gaussian Splatting シーンのリアルタイム高忠実度レンダリングを実現します。大規模データセットで最先端の品質を達成しつつ、スケールを超えてリアルタイム性能を維持します。

ABSTRACT

The advancement of real-time 3D scene reconstruction and novel view synthesis has been significantly propelled by 3D Gaussian Splatting (3DGS). However, effectively training large-scale 3DGS and rendering it in real-time across various scales remains challenging. This paper introduces CityGaussian (CityGS), which employs a novel divide-and-conquer training approach and Level-of-Detail (LoD) strategy for efficient large-scale 3DGS training and rendering. Specifically, the global scene prior and adaptive training data selection enables efficient training and seamless fusion. Based on fused Gaussian primitives, we generate different detail levels through compression, and realize fast rendering across various scales through the proposed block-wise detail levels selection and aggregation strategy. Extensive experimental results on large-scale scenes demonstrate that our approach attains state-of-theart rendering quality, enabling consistent real-time rendering of largescale scenes across vastly different scales. Our project page is available at https://dekuliutesla.github.io/citygs/.

研究の動機と目的

• 小さなオブジェクトやデータセットを超えた大規模な都市シーンのリアルタイムかつ高忠実な再構成とレンダリングを動機づける。
• トレーニングとレンダリング時に tens of millions の Gaussian のメモリと計算ボトルネックに対処する。
• 並列・ブロック単位の洗練を可能にするグローバルな Gaussian プリオリを伴う分割統治トレーニングパイプラインを提案する。
• レンダリングを効率化するブロック単位の Level-of-Detail 戦略を導入し、異なるカメラスケールに対して大規模シーンを効果的に描画する。

提案手法

• ブロック単位の微調整を初期化するためにグローバルな 3D Gaussian プリオリを使用する。
• ブロック間でデータ分布を均一化するための収縮空間 Gaussian 分割を適用する。
• ブロックごとの適切さを保証するために SSIM 損失に導かれたデータ割り当てを適用する。
• Gaussian のブロック単位の並列トレーニングとグローバルなシーンへの融合。
• ガウシアンを圧縮して多段階のディテールレベルを作成し、レンダリング時にブロック単位の LoD を適用する。
• 実時間のラスタ化のためのフラスタム認識型のブロックレベル Gaussian 選択。

実験結果

リサーチクエスチョン

• RQ1 巨大スケールの 3D Gaussian Splatting をメモリの膨張なしに効率的にトレーニングおよびレンダリングする方法は？
• RQ2 グローバル・プリオリと収縮空間分割はブロック融合と再構成品質を改善できるか？
• RQ3 ブロック単位の LoD は忠実度を保ちながら大きく異なるスケール間でリアルタイム描画を可能にするか？
• RQ4 データ割り当て戦略と LoD 設計の選択がレンダリング速度と品質に与える影響は？

主な発見

データセット	SSIM ⬆	PSNR ⬆	LPIPS ⬇
MatrixCity (Ours)	0.865	27.46	0.204
MatrixCity (3DGS †)	0.735	23.67	0.384
Residence (Ours)	0.813	22.00	0.211
Residence (3DGS †)	0.791	21.44	0.2774
Rubble (Ours)	0.813	25.77	0.228
Rubble (3DGS †)	0.720	20.46	0.305
Building (Ours)	0.778	21.55	0.246
Building (3DGS †)	0.504	20.93	0.504

• CityGS は MatrixCity の小規模都市シーンで LoD なしに SSIM 0.865、PSNR 27.46、LPIPS 0.204 の最先端レンダリング忠実度を達成。
• CityGS は大規模データセットで NeRF ベースのベースラインを上回り、複数の実世界シーン（例：Residence、Rubble、Building）で高品質な結果を提供。
• LoD はスケールの変動を跨いだリアルタイム描画を可能にし、3 つのディテールレベルを持つ LoD は単一ディテール設定より高い忠実度を維持しつつ高 FPS を実現（例：LoD は 53.7 FPS、LoD なしは 21.6 FPS）。
• ブロック単位のデータ分割とグローバルなプリオリは粗いグローバルプリオリだけの場合と比べて SSIM/LPIPS/PSNR を大幅に改善。
• アブレーション研究ではブロック数と SSIM 閾値 ε が品質とデータ効率に影響を及ぼし、バランスのとれたブロック構成が最良の結果をもたらす。
• CityGS は explicit Gaussian-based representation によるシーン操作をサポートしており、編集やオブジェクト置換を可能にする。