[論文レビュー] NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting Guidance

Hanlin Chen, Chen Li+2 more|arXiv (Cornell University)|Dec 1, 2023

3D Shape Modeling and Analysis被引用数 14

ひとこと要約

NeuSGはNeuSを3D Gaussian Splattingと共同で最適化し、スケール正則化と法線正則化を用いてガウス中心を正確な表面事前情報へと変換し、詳細で完全な再構成を実現する。

ABSTRACT

Existing neural implicit surface reconstruction methods have achieved impressive performance in multi-view 3D reconstruction by leveraging explicit geometry priors such as depth maps or point clouds as regularization. However, the reconstruction results still lack fine details because of the over-smoothed depth map or sparse point cloud. In this work, we propose a neural implicit surface reconstruction pipeline with guidance from 3D Gaussian Splatting to recover highly detailed surfaces. The advantage of 3D Gaussian Splatting is that it can generate dense point clouds with detailed structure. Nonetheless, a naive adoption of 3D Gaussian Splatting can fail since the generated points are the centers of 3D Gaussians that do not necessarily lie on the surface. We thus introduce a scale regularizer to pull the centers close to the surface by enforcing the 3D Gaussians to be extremely thin. Moreover, we propose to refine the point cloud from 3D Gaussians Splatting with the normal priors from the surface predicted by neural implicit models instead of using a fixed set of points as guidance. Consequently, the quality of surface reconstruction improves from the guidance of the more accurate 3D Gaussian splatting. By jointly optimizing the 3D Gaussian Splatting and the neural implicit model, our approach benefits from both representations and generates complete surfaces with intricate details. Experiments on Tanks and Temples verify the effectiveness of our proposed method.

研究の動機と目的

• 従来の深度マップやスパース点群を超える豊富な幾何の事前情報を活用して、改良されたニューラル・インプリシット表面再構成を動機付ける。
• 密度が高く、詳細に富む3D Gaussian Splattingを活用して、強力な幾何的制約を提供する。
• 3Dガウス中心を表面に合わせるよう正則化項を開発し、予測された法線を用いてガウスを洗練させる。
• NeuSとGaussian Splattingの双方の利点を活かす共同最適化フレームワークを提案し、完全で詳細な表面を生成する。

提案手法

• 表面事前情報として詳細なジオメトリを備えた密な点群を生成するために3D Gaussian Splattingを用いる。
• 表面付近に中心が来るようにガウスを平坦化するスケール正則化を導入する。
• ガウス事前分布の法線を NeuS の予測表面法線と合わせて洗練させる。
• NeuS（SDFベースの体積レンダリング）とGaussian Splattingを協調損失で同時最適化する。
• 効率的な学習のためにNeRF++に似たハッシュエンコーディングを備えたデュアルネットワークアプローチを採用する。
• RGBレンダリング損失、Eikonal正則化、点群ベースのSDF制約に加え、ガウス特有の損失（スケールと法線整合）で最適化する。

実験結果

リサーチクエスチョン

• RQ1 NeuSと3D Gaussian Splattingを共同最適化することで、既存のニューラル・インプリシット手法より表面の完全性と細部を改善できるか？
• RQ2 スケール正則化と法線整合は、ガウス中心を表面上に引き寄せ、洗練のための信頼できる法線を提供するのに十分か？
• RQ3 ガウスベースの正則化は、従来の点群事前情報（例：MVS 由来）と比較して、SDFベースの表面再構成をどのように導くのか？
• RQ4 Tanks and TemplesのシーンでNeuSGを使用する場合とベースラインと比較して、トレーニング効率と表面品質のトレードオフは何か？

主な発見

Barn	Caterpillar	Courthouse	Ignatius	Meetingroom	Truck	Mean	GPU hours
0.22	0.18	0.08	0.02	0.08	0.35	0.15	-
0.55	0.01	0.11	0.22	0.19	0.19	0.21	-
0.49	0.21	0.36	0.25	0.43	0.28	0.34	-
0.29	0.29	0.17	0.83	0.24	0.45	0.38	-
0.46	0.32	0.08	0.81	0.08	0.44	0.37	16
0.33	0.26	0.12	0.72	0.20	0.45	0.35	-
0.49	0.31	0.12	0.78	0.23	0.42	0.39	18
0.61	0.34	0.13	0.82	0.22	0.45	0.43	15
0.70	0.36	0.28	0.89	0.32	0.48	0.50	128
0.73	0.37	0.22	0.83	0.35	0.46	0.49	16

• NeuSGはTanks and TemplesでNeuS、NeuralWarp、Geo-Neusなどのベースラインと比較して最高の表面品質（F1）を達成する。
• 細部の再現性でNeuSを上回り、完全な表面を再構成する（0.49対0.38 F1）。
• ガウスSplattingを用いた共同最適化は、ガウス事前分布のみ、またはMVS事前分布のみを用いるより良い結果を生む。
• NeuSGは大規模ハッシュの NeuralAngelo 構成より効率的で、トレーニング時間を大幅に短縮しつつ、同等の結果を達成する（16時間対128時間）。
• アブレーションにより、スケール正則化と法線正則化、さらにガウス事前分布の組み合わせがF1スコアを大幅に改善することが示され、平均値で例として0.73など。