[論文レビュー] GSDF: 3DGS Meets SDF for Improved Rendering and Reconstruction

Mulin Yu, Tao Lu+4 more|arXiv (Cornell University)|Mar 25, 2024

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

GSDFは、レンダリングのための3D Gaussian Splatting (GS)と表面復元のニューラル Signed Distance Fields (SDF)を組み合わせた二重ブランチフレームワークを提示し、両タスクの相互ガイダンスを通じて改善を図る。

ABSTRACT

Presenting a 3D scene from multiview images remains a core and long-standing challenge in computer vision and computer graphics. Two main requirements lie in rendering and reconstruction. Notably, SOTA rendering quality is usually achieved with neural volumetric rendering techniques, which rely on aggregated point/primitive-wise color and neglect the underlying scene geometry. Learning of neural implicit surfaces is sparked from the success of neural rendering. Current works either constrain the distribution of density fields or the shape of primitives, resulting in degraded rendering quality and flaws on the learned scene surfaces. The efficacy of such methods is limited by the inherent constraints of the chosen neural representation, which struggles to capture fine surface details, especially for larger, more intricate scenes. To address these issues, we introduce GSDF, a novel dual-branch architecture that combines the benefits of a flexible and efficient 3D Gaussian Splatting (3DGS) representation with neural Signed Distance Fields (SDF). The core idea is to leverage and enhance the strengths of each branch while alleviating their limitation through mutual guidance and joint supervision. We show on diverse scenes that our design unlocks the potential for more accurate and detailed surface reconstructions, and at the meantime benefits 3DGS rendering with structures that are more aligned with the underlying geometry.

研究の動機と目的

• 柔軟な3D Gaussian splineレンダリングをニューラル暗黙表面と組み合わせ、レンダリングと再構成のトレードオフに対処する動機付け。
• GSがSDFサンプリングを導くデュアルブランチアーキテクチャを提案し、SDFガイダンスによる密度制御がGSプリミティブの成長/剪定を改善する。
• 相互ジオメトリ監視を可能にし、ディープレンダリングと表面ジオメトリを整合させる。
• 異なるシーンでもレンダリング効率を維持しつつ、表面ディテールと幾何忠実性を向上させる。

提案手法

• レンダリング用のGSブランチと表面復元用のSDFブランチを備えるデュアルブランチフレームワーク。
• GSが深度をレンダリングしてSDFのレイサンプリングを案内する深度ガイド付きレイサンプリング。
• 表現幾何学を意識した密度制御で、表面近傍の3Dガウスの成長/剪定をSDFガイダンスが調整。
• ブランチ間の深度と法線の整合性による相互ジオメトリ監視。
• トレーニング損失には、両ブランチのレンダ링損失、SDFのイコナル（Eikonal）と曲率項、相互の深度/法線損失を含む。

実験結果

リサーチクエスチョン

• RQ1 デュアルブランチのGSとSDFフレームワークは、レンダリング品質と表面復元精度の両方を改善できるか。
• RQ2 GSによる深度ガイド付きサンプリングは、SDF最適化の効率と表面適合性を改善するか。
• RQ3 SDFガイダンスはGSにおける3Dガウシアンの幾何学的正規化と配置を高めるか。
• RQ4 相互ジオメトリ監督はブランチ間で一貫した深度と法線をもたらすか。
• RQ5 GSDFは最先端のレンダリングおよび再構成法と比較して、実世界の多様なシーンでどのように機能するか。

主な発見

Dataset	Method	PSNR↑	SSIM↑	LPIPS↓
Mip-NeRF360	3D-GS	28.89	0.857	0.209
Mip-NeRF360	Mip-NeRF360	29.23	0.844	0.207
Mip-NeRF360	Scaffold-GS	29.34	0.863	0.200
Mip-NeRF360	GSDF	29.38	0.865	0.185
Tanks&Temples	3D-GS	26.73	0.858	0.210
Tanks&Temples	Mip-NeRF360	26.82	0.854	0.199
Tanks&Temples	Scaffold-GS	27.29	0.869	0.182
Tanks&Temples	GSDF	27.37	0.875	0.156
Deep Blending	3D-GS	29.44	0.899	0.248
Deep Blending	Mip-NeRF360	29.40	0.901	0.245
Deep Blending	Scaffold-GS	30.37	0.908	0.238
Deep Blending	GSDF	30.38	0.909	0.223

• GSDFはMip-NeRF360、Tanks&Temples、Deep Blendingのデータセットで、最先端のレンダリングベンチマーク（3D-GS、Scaffold-GS、Mip-NeRF360）を上回る。
• GSDFは3データセット全てで、ベースラインより高いPSNRとSSIM、低いLPIPSを達成。
• 深度ガイド付きサンプリングは、層状サンプリングのアブレーションより表面ディテールの保持を改善。
• 幾何学的に意識した密度制御は、表面とよりよく整列したガウスプリミティブと浮遊体の減少をもたらす。
• 相互の深度と法線監視は最適化を安定化させ、レンダリングと再構成の両方の品質を高める。
• 推論時のレンダリング速度はGSベースの手法と同等を維持しつつ、再構成品質が向上する。