[論文レビュー] Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting

Ziyi Yang, Xinyu Gao+7 more|arXiv (Cornell University)|Feb 24, 2024

Industrial Vision Systems and Defect Detection被引用数 7

ひとこと要約

Spec-Gaussian は各3Dガウシアンに低周波の球面調和関数を異方性の球面ガウス外観場に置換し、アンカー型のスパース化と粗から細への学習戦略を組み合わせて、実時間レンダリングを維持しつつ鏡面反射や異方性表面をより良くモデルする。

ABSTRACT

The recent advancements in 3D Gaussian splatting (3D-GS) have not only facilitated real-time rendering through modern GPU rasterization pipelines but have also attained state-of-the-art rendering quality. Nevertheless, despite its exceptional rendering quality and performance on standard datasets, 3D-GS frequently encounters difficulties in accurately modeling specular and anisotropic components. This issue stems from the limited ability of spherical harmonics (SH) to represent high-frequency information. To overcome this challenge, we introduce Spec-Gaussian, an approach that utilizes an anisotropic spherical Gaussian (ASG) appearance field instead of SH for modeling the view-dependent appearance of each 3D Gaussian. Additionally, we have developed a coarse-to-fine training strategy to improve learning efficiency and eliminate floaters caused by overfitting in real-world scenes. Our experimental results demonstrate that our method surpasses existing approaches in terms of rendering quality. Thanks to ASG, we have significantly improved the ability of 3D-GS to model scenes with specular and anisotropic components without increasing the number of 3D Gaussians. This improvement extends the applicability of 3D GS to handle intricate scenarios with specular and anisotropic surfaces. Project page is https://ingra14m.github.io/Spec-Gaussian-website/.

研究の動機と目的

• 旧来の 3D Gaussian Splatting (3D-GS) を超えて、鏡面・異方性成分を含むシーンのレンダリングを改善する動機付け。
• 高周波の視点依存効果を捉えるため、anisotropic spherical Gaussian (ASG) に基づく新しい外観モデルを提案する。
• anchor-based hybrid Gaussian 表現によってストレージを削減し、学習/レンダリングを加速する。
• 粗から細への学習戦略を用いて実世界のシーンにおける floaters と過適合を緩和する。

提案手法

• 3D-GS の SH ベースの視点依存外観を ASG appearance field に置き換える。
• 各ガウシアンごとに局所特徴を用いたコンパクトな MLP によって ASG パラメータを予測する。
• 拡散色と鏡面色を分離する。拡散色は SH ベースのモデリングを使用し、鏡面色は ASG と最終色のための小さな MLP Ψ を使用する。
• neural Gaussians の生成を導くために anchor Gaussians を導入し、ストレージを削減し効率的なレンダリングを可能にする。
• 実世界のシーンで floaters を減らし学習効率を向上させるために、粗から細への学習スケジュールを実装する。

実験結果

リサーチクエスチョン

• RQ1 ASG-based appearance fields は実時間レンダリング速度を損なうことなく、3D Gaussian Splatting における鏡面ハイライトと異方性のモデリングを改善できるか？
• RQ2 anchor-based sparsification スキームは ASG の表現力を可能にしつつ、ジオメトリを保持し、ストレージを削減できるか？
• RQ3 粗から細への学習レジメンは floaters を減らし、実世界データにおける新規視点への一般化を改善するか？
• RQ4 提案手法は、合成データと実データの両方で、最先端の 3D-GS、NeRF ベース、および関連する点ベース手法とどのように比較されるか？

主な発見

• 実世界と合成データセットの両方で最先端のレンダリング品質を達成し、特に鏡面ハイライトと異方性表面のモデリングで優れている。
• ASG appearance field は特徴デカップリング MLP を伴い、SH ベースの外観に比べて異方性・鏡面レンダリングを大幅に改善する。
• Anchor-based Gaussian splatting はストレージを削減し学習/レンダリングを加速しつつ高品質を維持する。
• 粗から細への学習は floaters を大幅に減少させ、実世界のシナリオでの学習効率を向上させる。
• 本手法は、有界および無界のシーンにおいて、PSNR/SSIM/LPIPS の性能と FPS およびメモリ予算のバランスを取る。