[논문 리뷰] NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting Guidance

Hanlin Chen, Chen Li외 2명|arXiv (Cornell University)|2023. 12. 01.

3D Shape Modeling and Analysis인용 수 14

한 줄 요약

NeuSG는 3D Gaussian Splatting으로 NeuS를 공동 최적화하고, 스케일 및 법선 규제를 사용하여 Gaussian 중심을 정확한 표면 프라이어로 변환하여 상세하고 완전한 재구성을 달성합니다.

ABSTRACT

Existing neural implicit surface reconstruction methods have achieved impressive performance in multi-view 3D reconstruction by leveraging explicit geometry priors such as depth maps or point clouds as regularization. However, the reconstruction results still lack fine details because of the over-smoothed depth map or sparse point cloud. In this work, we propose a neural implicit surface reconstruction pipeline with guidance from 3D Gaussian Splatting to recover highly detailed surfaces. The advantage of 3D Gaussian Splatting is that it can generate dense point clouds with detailed structure. Nonetheless, a naive adoption of 3D Gaussian Splatting can fail since the generated points are the centers of 3D Gaussians that do not necessarily lie on the surface. We thus introduce a scale regularizer to pull the centers close to the surface by enforcing the 3D Gaussians to be extremely thin. Moreover, we propose to refine the point cloud from 3D Gaussians Splatting with the normal priors from the surface predicted by neural implicit models instead of using a fixed set of points as guidance. Consequently, the quality of surface reconstruction improves from the guidance of the more accurate 3D Gaussian splatting. By jointly optimizing the 3D Gaussian Splatting and the neural implicit model, our approach benefits from both representations and generates complete surfaces with intricate details. Experiments on Tanks and Temples verify the effectiveness of our proposed method.

연구 동기 및 목표

• 전통적인 깊이 맵이나 희소 점군을 넘어 풍부한 기하 프라이어로 향상된 신경 임스펙트 표면 재구성을 자극합니다.
• 밀도 높은, 상세한 3D Gaussian Splatting을 활용하여 강한 기하 제약을 제공합니다.
• 3D Gaussian 중심을 표면과 정렬하고 예측된 법선을 통해 Gaussians를 다듬는 규제기를 개발합니다.
• NeuS와 Gaussian Splatting의 조합 최적화 프레임워크를 제안하여 완전하고 상세한 표면을 생성합니다.

제안 방법

• 3D Gaussian Splatting을 사용하여 표면 프라이어를 위한 상세 기하를 가진 밀집 포인트 구름을 생성합니다.
• 스케일 규제를 도입하여 Gaussian을 평탄화하고 중심이 표면 근처에 오도록 합니다.
• Gaussian 프리플링을 NeuS가 예측한 표면 법선과 정렬하여 다듬습니다.
• NeuS(SDF 기반 체적 렌더링)와 Gaussian Splatting을 조정된 손실로 공동 최적화합니다.
• 효율적인 학습을 위해 해시 인코딩이 적용된 NeRF++와 유사한 이중 네트워크 접근법을 사용합니다.
• RGB 렌더링 손실, Eikonal 규제, 포인트-클라우드 기반 SDF 제약, 그리고 Gaussian 고유 손실(스케일 및 법선 정렬)을 함께 최적화합니다.

실험 결과

연구 질문

• RQ1 NeuS와 3D Gaussian Splatting의 공동 최적화가 기존의 신경 임스펙트 방법보다 표면의 완전성과 세부 정보를 향상시킬 수 있는가?
• RQ2 스케일 규제와 법선 정렬이 Gaussian 중심을 표면에 충분히 끌어당기고 다듬기를 위한 신뢰할 만한 법선을 제공하는가?
• RQ3 Gaussian 기반 규제가 MVS 등 전통적인 점군 프라이어에 비해 SDF 기반 표면 재구성 가이드에 어떤 차이가 있는가?
• RQ4 Tanks and Temples 장면에서 NeuSG와 베이스라인 간의 학습 효율성과 표면 품질의 트레이드오프는 어떠한가?

주요 결과

헛간	애벌레	법원	Ignatius	회의실	트럭	평균	GPU 시간
0.22	0.18	0.08	0.02	0.08	0.35	0.15	-
0.55	0.01	0.11	0.22	0.19	0.19	0.21	-
0.49	0.21	0.36	0.25	0.43	0.28	0.34	-
0.29	0.29	0.17	0.83	0.24	0.45	0.38	-
0.46	0.32	0.08	0.81	0.08	0.44	0.37	16
0.33	0.26	0.12	0.72	0.20	0.45	0.35	-
0.49	0.31	0.12	0.78	0.23	0.42	0.39	18
0.61	0.34	0.13	0.82	0.22	0.45	0.43	15
0.70	0.36	0.28	0.89	0.32	0.48	0.50	128
0.73	0.37	0.22	0.83	0.35	0.46	0.49	16

• NeuSG는 Tanks and Temples에서 NeuS, NeuralWarp, Geo-Neus 등의 베이스라인과 비교하여 가장 높은 표면 품질(F1)을 달성합니다.
• NeuSG는 더 미세한 디테일로 완전한 표면 재구성에서 NeuS를 능가합니다(0.49 대 0.38 F1).
• Gaussian Splatting과의 공동 최적화가 Gaussian 프라이어만 사용하거나 MVS 프라이어를 사용하는 것보다 더 나은 결과를 제공합니다.
• NeuSG는 더 큰 해시 NeuralAngelo 구성보다 더 효율적이며, 학습 시간은 크게 감소하여 비교 가능한 결과를 얻습니다(16시간 대 128시간).
• 맹글링은 스케일 및 법선 규제와 Gaussian 프라이어가 평균 F1 점수를 상당히 증가시킴을 보여줍니다(예: 평균 장면에서 0.73).