[論文レビュー] Mini-Splatting: Representing Scenes with a Constrained Number of Gaussians

Guangchi Fang, Bing Wang|arXiv (Cornell University)|Mar 21, 2024

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本稿では、密度化（ぼんやりスプリットと深度再初期化）と単純化（バイナリゼーションとサンプリング）を通じて3次元ガウス分布を再編成するMini-Splattingという手法を提案する。制限された数のガウス分布で優れたレンダリング品質と効率性を達成する。クラスタリングを低減し、空間的均一性を向上させ、複数のベンチマークで3DGSおよびZip-NeRFを上回るPSNR、SSIM、LPIPSを達成するとともに、顕著なストレージ圧縮を可能にする。

ABSTRACT

In this study, we explore the challenge of efficiently representing scenes with a constrained number of Gaussians. Our analysis shifts from traditional graphics and 2D computer vision to the perspective of point clouds, highlighting the inefficient spatial distribution of Gaussian representation as a key limitation in model performance. To address this, we introduce strategies for densification including blur split and depth reinitialization, and simplification through intersection preserving and sampling. These techniques reorganize the spatial positions of the Gaussians, resulting in significant improvements across various datasets and benchmarks in terms of rendering quality, resource consumption, and storage compression. Our Mini-Splatting integrates seamlessly with the original rasterization pipeline, providing a strong baseline for future research in Gaussian-Splatting-based works. \href{https://github.com/fatPeter/mini-splatting}{Code is available}.

研究の動機と目的

• 3次元ガウススプラッタリング（3DGS）におけるガウス分布の非効率性、特にガウスが最適でない位置に集積することでレンダリング品質と速度が制限されることに対処する。
• レンダリング忠実度を損なわずに最小限のガウス数で表現可能とする、3次元シーン表現分野でほとんど未解決の課題である。
• 空間的分布を無視する直接的プルーニング手法の限界を克服し、最適でない単純化を避ける。
• スクリーンスペースおよびワールドスペース両方の情報を用いてガウス位置を再編成し、密度と均一性を向上させる。
• 品質、速度、ストレージのバランスをとった、将来的な3DGSベースの研究のための即挿入型ベースラインを提供する。

提案手法

• ぼんやりスプリットを導入し、ぼんやり領域におけるガウスの密度化を図る。高ぼんやり領域を複数のガウスに分割することで、表面カバレッジを向上させる。
• 深度再初期化を採用し、統合された深度点を用いてガウスを再配置することで、複雑または未十分に再構築された領域における空間的分布を改善する。
• ガウスバイナリゼーションを適用し、レンダリング画像に与える寄与度に基づいて、最も影響力のあるガウスのみを保持する。
• サンプリングに基づく単純化を用いて、ガウス数を削減しながらも幾何的構造とレンダリング品質を維持する。
• 密度化と単純化をパイプラインとして統合し、ガウスを繰り返し再編成する。深度再初期化は5,000イテレーションごとにトリガーされる。
• 標準的な3DGSラスタライゼーションパイプラインにシームレスに統合され、既存モデルの即座な置き換えが可能である。

実験結果

リサーチクエスチョン

• RQ1 ガウスの空間的分布を再編成することで、ガウス数を増やさずに3次元ガウススプラッタリングにおけるレンダリング品質と効率性を向上させることができるか？
• RQ2 密度化と単純化の技術を一体的に設計することで、ガウス数を最小限に抑えつつ幾何的忠実度を維持できるか？
• RQ3 深度に基づく再初期化とぼんやりに配慮したスプリットは、3DGSにおける分布の均一性をどの程度向上させられるか？
• RQ4 直接的プルーニングに比べ、プルーニングを回避する再編成アプローチが、レンダリング品質と圧縮効率の両面で優れているか？
• RQ5 制限されたガウス表現は、完全な3DGSと同等の性能を達成しつつ、顕著なストレージおよび計算コストの削減を実現できるか？

主な発見

• 『bicycle』スキャンにおいて、Mini-SplattingはLPIPSスコア0.159を達成し、3DGS（0.205）および3DGS*（0.210）を上回り、優れた知覚的品質を示す。
• 『train』スキャンでは、Mini-Splatting-Dが21.20のPSNRを達成し、3DGS*（21.90）をわずかに上回るが、ガウス数を減らし、圧縮を可能にする。
• SSIMにおいて、Mini-Splatting-Dは『train』で0.819を達成し、3DGS*（0.814）および3DGS（0.802）を上回り、構造的忠実度の向上を示す。
• 特定のスキャン（例：『bicycle』）ではLPIPSが最大25％低減（0.159 vs. 0.205）され、知覚的品質の向上が確認された。
• Mini-Splatting-Cは、領域適応的量子化とzip圧縮を用いて、SH係数を95％圧縮し、品質損失は最小限に抑えられた。
• 図1に示すように、ガウスのクラスタリングが低減され、より均一な空間的分布が得られ、レンダリング速度が向上した。