[논문 리뷰] Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes

Zehao Yu, Torsten Sattler외 1명|arXiv (Cornell University)|2024. 04. 16.

Computer Graphics and Visualization Techniques인용 수 7

한 줄 요약

GOF는 3D 가우시안으로부터 가우시안 불투명도 필드를 도출하여 레벨 세트를 통해 직접 표면 추출을 가능하게 하며, 무한한 장면에서 고품질의 컴팩트한 메쉬와 빠른 재구성을 달성하고, 많은 3DGS 기반 방법을 능가하고 뉴럴 임피시트 접근법에 필적한다.

ABSTRACT

Recently, 3D Gaussian Splatting (3DGS) has demonstrated impressive novel view synthesis results, while allowing the rendering of high-resolution images in real-time. However, leveraging 3D Gaussians for surface reconstruction poses significant challenges due to the explicit and disconnected nature of 3D Gaussians. In this work, we present Gaussian Opacity Fields (GOF), a novel approach for efficient, high-quality, and adaptive surface reconstruction in unbounded scenes. Our GOF is derived from ray-tracing-based volume rendering of 3D Gaussians, enabling direct geometry extraction from 3D Gaussians by identifying its levelset, without resorting to Poisson reconstruction or TSDF fusion as in previous work. We approximate the surface normal of Gaussians as the normal of the ray-Gaussian intersection plane, enabling the application of regularization that significantly enhances geometry. Furthermore, we develop an efficient geometry extraction method utilizing Marching Tetrahedra, where the tetrahedral grids are induced from 3D Gaussians and thus adapt to the scene's complexity. Our evaluations reveal that GOF surpasses existing 3DGS-based methods in surface reconstruction and novel view synthesis. Further, it compares favorably to or even outperforms, neural implicit methods in both quality and speed.

연구 동기 및 목표

• 무한한 장면에서 다중 시점 이미지로부터 효율적이고 고품질의 표면 재구성을 동기화한다.
• Poisson 또는 TSDF 융합 없이 3D 가우시안으로부터 표면을 직접 추출하기 위해 Gaussian Opacity Fields를 도입한다.
• 기하학적 충실도를 향상시키기 위한 정규화 기법을 통합한다.
• 컴팩트한 메쉬를 생성하기 위한 적응적 육면체 기반 메쉬 추출 방법을 개발한다.
• GOF의 성능을 3DGS 기반 및 신경 임피시드 방법과 도전적인 데이터셋에서 비교한다.

제안 방법

• 장면을 불투명도, 중심, 스케일, 회전을 가진 3D 가우시안 원시들의 집합으로 표현한다.
• 볼륨 렌더링을 위해 각 광선에 대한 1D 가우시안을 얻기 위해 명시적 광선–가우시안 교차를 계산한다.
• Gaussian Opacity Field를 각 3D 점에서 모든 학습 뷰의 최솟값 광선 불투명도로 정의한다.
• 정규화 가능성을 확보하기 위해 가우시안 표면 법선은 광선–가우시안 교차면의 법선으로 근사한다.
• 학습 도중 깊이 왜곡 및 깊이-노멀 일관성 손실을 통해 정규화를 수행한다.
• 가우시안 주위의 3시그마 경계 상자로부터 생성된 육면체 격자를 사용해 표면을 추출한 뒤 이진-검색 기반 레벨 세트 식별으로 marching tetrahedra를 수행한다.

실험 결과

연구 질문

• RQ1 Gaussian Opacity Fields(GOF)가 Poisson 재구성이나 TSDF 융합 없이도 3D Gaussians에서 직접적이고 신뢰할 수 있는 표면 추출을 가능하게 하는가?
• RQ2 2D 가우시안 스플래팅에서 3D 가우시안으로의 정규화 방식을 기하정밀도 향상을 위해 어떻게 적용할 수 있는가?
• RQ3 육면체 기반 메시 추출 방식이 무한한 장면에서도 빠른 최적화를 유지하면서 컴팩트하고 상세한 메쉬를 제공하는가?
• RQ4 GOF가 표면 재구성 및 새로운 뷰 합성에서 3DGS 기반 방법 및 신경 임피시트 모델과 비교해 표준 데이터셋에서 어떤 성능을 보이는가?

주요 결과

• GOF는 가우시안 불투명도 필드의 레벨 세트를 식별하여 Poisson/TSDF 융합 없이 직접 표면 추출을 가능하게 한다.
• 최신 방법과의 비교에서 GOF는 3DGS 기반 표면 재구성을 능가하고, 품질면에서 신경 임피시트 방법과 동등하거나 이를 상회하며 더 빠른 최적화를 제공한다.
• 가우시안 주위의 3시그마 경계로부터 생성된 육면체 격자에서 이진-검색 레벨 세트를 이용한 메쉬 추출은 배경 영역을 포함한 컴팩트하고 상세한 메쉬를 제공하며 무한한 장면에서 TSDF 기반 메쉬 추출보다 우수하다.
• 광선–가우시안 교차 면을 통한 노말 정규화는 기하학적 충실도를 향상시키며, 분리된 외관 모델링은 도전적인 조명 하에서 재구성 성능을 강화한다.
• GOF는 강력한 NVS 성능을 달성하며, outdoors 장면에서의 PSNR/SSIM은 경쟁적이고 LPIPS는 향상되어 3DGS 기반 방법과 비교해 우수한 성능을 보인다.