[論文レビュー] CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

Yang Liu, Chuanchen Luo+3 more|arXiv (Cornell University)|Nov 1, 2024

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用数 3

ひとこと要約

CityGaussianV2 は、2次元ガウススプラッタリングを活用し、分解勾配に基づく密化法（DGD）と深度推定を組み合わせることで、大規模なシーンにおける3次元再構築の収束を高速化し、ぼやけを低減することで、幾何的正確性に優れた効率的な手法を提案する。並列学習中のガウス分布数の爆発を防ぐために延長フィルタを導入し、10倍の圧縮、25％の高速化、50％のメモリ削減を実現しながら、大規模ベンチマークにおいて高い幾何的忠実性とレンダリング品質を維持している。

ABSTRACT

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10$ imes$ compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.

研究の動機と目的

• 大規模で複雑なシーンにおける3次元ガウススプラッタリングの幾何的不正確さと収束の遅さを解消すること。
• 特に並列学習におけるガウス分布数の爆発というスケーラビリティの課題を克服すること。
• 幾何的・レンダリング品質を損なわず、低スペックデバイスへのリアルタイムデプロイに適したトレーニングおよびメモリコストの低減を実現すること。
• 大規模なシーン再構築における幾何的正確性を評価するための標準化されたベンチマークを確立すること。
• 複雑な都市部および自然景観においても高忠実度を維持する、効率的で並列的かつ圧縮可能なトレーニングパイプラインを実現すること。

提案手法

• 一般化能力に優れるため、2次元ガウススプラッタリングを基本プリミティブとして採用する。
• 収束を加速し、ぼやけたサーフェルを排除するために、分解勾配に基づく密化法（DGD）を導入する。
• Depth-Anything V2 による深度推定を活用し、トレーニング中における幾何的正確性を向上させる。
• 極めて細長いガウス分布の増加を抑制するため、延長フィルタを適用し、並列学習におけるガウス分布数の爆発を緩和する。
• 寄与度に基づくプルーニングと2次スフィアハーモニックを用いたブロックベース並列チューニングにより、メモリとストレージを削減する。
• 寄与度ベースのベクトルツリー量子化と最適化された後処理を統合し、最大10倍の圧縮と75％のストレージ削減を達成する。

実験結果

リサーチクエスチョン

• RQ1 2次元ガウススプラッタリングをどのように最適化すれば、大規模なシーン再構築における収束速度と幾何的正確性を向上させられるか？
• RQ2 複雑なシーンにおける2DGSの並列学習において、ガウス分布数の爆発を防ぐにはどのようなメカニズムが必要か？
• RQ3 並列学習と圧縮によって、レンダリング品質および幾何的正確性を損なわず、メモリおよびストレージコストをどの程度低減できるか？
• RQ4 事前学習モデル（例：Depth-Anything V2）からの深度監視は、2DGSベースの再構築における幾何的正確性にどのように影響を与えるか？
• RQ5 後処理や蒸留を含まないスムーズなトレーニングパイプラインは、既存手法と同等またはそれ以上の性能を達成できるか？

主な発見

• CityGaussianV2 は、CityGaussian と比較して、50％のメモリ使用量削減（14.2 GB 対 31.5 GB）と25％の高速化（176 分 対 254 分）を達成し、F1スコアは 0.474（対 0.450）に向上した。
• 寄与度ベースのベクトルツリー量子化により、ストレージコストを75％削減し、最終的なモデルサイズをわずか 0.44 GB にまで圧縮した。
• 2次スフィアハーモニックを初期段階から適用することで、メモリ使用量を25％以上削減（14.2 GB 対 31.5 GB）し、推論速度を 4.2 FPS 向上させた。
• 深度推定と DGD の導入により、PSNR が 2.38 dB 向上し、F1スコアも 0.064 向上し、レンダリング品質および幾何的正確性の両面で顕著な向上が確認された。
• 7,000イテレーション目での事前学習により、トレーニング時間は3時間から2時間に短縮され、モデルサイズも300 MB未満にまで縮小され、低スペックデバイスへのデプロイが可能になった。
• GauU-Sceneベンチマークにおいて、PSNR 23.49、F1スコア 0.474 を達成し、ベースラインの2DGSおよびCityGaussianを上回る品質と効率性を示した。