[論文レビュー] Trim 3D Gaussian Splatting for Accurate Geometry Representation

Lue Fan, Yuxue Yang+3 more|arXiv (Cornell University)|Jun 11, 2024

Image Processing and 3D Reconstruction被引用数 4

ひとこと要約

本稿では、レンダリングへの寄与に基づいて不正確または冗長なガウス関数を選択的に削除することで、3D幾何再構成を向上させる新規手法であるTrim 3Dガウススプラッタリング（TrimGS）を提案する。細かいディテールを保持するため、ガウス関数のスケールを小さく維持する。寄与度に基づくトリミング、スケール制御、法線一貫性正則化を統合することで、ベースラインの3DGSおよび2DGS手法に比べ、優れた幾何的正確性と視認的品質を達成する。

ABSTRACT

In this paper, we introduce Trim 3D Gaussian Splatting (TrimGS) to reconstruct accurate 3D geometry from images. Previous arts for geometry reconstruction from 3D Gaussians mainly focus on exploring strong geometry regularization. Instead, from a fresh perspective, we propose to obtain accurate 3D geometry of a scene by Gaussian trimming, which selectively removes the inaccurate geometry while preserving accurate structures. To achieve this, we analyze the contributions of individual 3D Gaussians and propose a contribution-based trimming strategy to remove the redundant or inaccurate Gaussians. Furthermore, our experimental and theoretical analyses reveal that a relatively small Gaussian scale is a non-negligible factor in representing and optimizing the intricate details. Therefore the proposed TrimGS maintains relatively small Gaussian scales. In addition, TrimGS is also compatible with the effective geometry regularization strategies in previous arts. When combined with the original 3DGS and the state-of-the-art 2DGS, TrimGS consistently yields more accurate geometry and higher perceptual quality. Our project page is https://trimgs.github.io

研究の動機と目的

• 高品質なレンダリングを実現する一方で、3Dガウススプラッタリング（3DGS）においても不潔で不正確な幾何再構成が生じる問題に対処すること。
• 強力な幾何的正則化に依存するのではなく、不正確または冗長な成分を除去することで3Dガウス関数フィールドを精錬する、新たな戦略「ガウス関数トリミング」を提案すること。
• ガウス関数のスケールが幾何再構成と最適化プロセスに与える影響を分析し、大きなガウス関数が細部の保持と勾配安定性を妨げることを明らかにすること。
• 既存の3DGSおよび2DGSフレームワークと互換性があり、幾何的正確性と視認的レンダリング品質の両方を向上させる汎用的メソッドを開発すること。

提案手法

• アルファブレンド重みから導出される、各ガウス関数がレンダリングに与える影響を評価する寄与度ベースの指標を導入し、トリミング意思決定の根拠とする。
• 低寄与度のガウス関数を段階的に削除する戦略を提案し、正確な幾何再構成に不可欠なガウス関数を保持する。
• 密度化プロセス中にスケール制御を実装し、相対的に小さなガウス関数スケールを維持することで、高周波数ディテールの表現を向上させ、勾配ノイズを低減する。
• 幾何最適化の安定化と表面正確性の向上を目的に、法線一貫性正則化を統合する。
• トリミング、スケール制御、正則化を統合した一貫性のあるフレームワークとして、3DGSおよび2DGSと互換性のあるトレーニングパイプラインを設計する。
• トリミングの攻撃的度合いと幾何的忠実度のバランスを取るために、ガンマ制御されたしきい値処理機構（式5）を採用する。

実験結果

リサーチクエスチョン

• RQ1 寄与度評価に基づくガウス関数トリミングは、従来の幾何的正則化を上回る3D幾何再構成を実現できるか？
• RQ2 ガウス関数のスケールは3DGSにおける最適化プロセスとディテール表現にどのように影響を与えるか？
• RQ3 小さなガウス関数スケールを維持することで、細かな幾何的および外観ディテールの保持が向上するか？
• RQ4 法線一貫性正則化のような既存の正則化技術と組み合わせた場合、レンダリング品質の劣化を伴わずにトリミングを適用できる範囲はどの程度か？
• RQ5 最先端の2DGSおよび3DGS手法と比較して、本手法は幾何的正確性と視認的品質の両面で優れているか？

主な発見

• DTUデータセットにおいて、最適なトリミング条件下で、ベースラインの3DGSに比べて平均チェンバーディスタンス（CD）が最大30％低減され、CD値は1.45から0.82に低下した。
• MipNeRF360ベンチマークでは、2DGSに比べてTrim2DGSがLPIPSで19.3％の改善（0.193 vs. 0.218）を達成し、顕著に優れた視認的品質を示した。
• スケール制御を実施しないTrim2DGSでは、LPIPSが15％上昇（0.218 vs. 0.193）し、スケール制御が細部の保持に不可欠であることを確認した。
• 幾何的正確性を向上させながらも、高いPSNR（例：MipNeRF360で29.98）を維持したため、レンダリング品質と幾何的忠実度のバランスが図られていることが示された。
• 可視化結果から、Trim2DGSはガウス関数の分布がより均一であり、ストレージ消費量も削減されていることが確認された（花と自転車のシーンを参照）。
• 理論的および実験的分析により、大きなガウス関数はノイズの多い勾配と、高周波数ディテール表現の能力に制限を受けることが確認された。