[논문 리뷰] SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

Antoine Guédon, Vincent Lepetit|arXiv (Cornell University)|2023. 11. 21.

Computer Graphics and Visualization Techniques인용 수 24

한 줄 요약

SuGaR는 3D Gaussians와 장면 표면을 정렬하기 위한 정규화 항을 도입하여 Poisson 재구성에 의한 빠르고 확장 가능한 메쉬 추출과 선택적 메쉬–Gaussian 공동 정제를 가능하게 하여 편집 가능하고 고품질 렌더링을 제공합니다.

ABSTRACT

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality. Our project page is the following: https://anttwo.github.io/sugar/

연구 동기 및 목표

• 렌더링 품질을 유지하면서 3D Gaussian Splatting으로부터 빠르고 정확한 메쉬 추출을 동기 부여한다.
• 가우시안을 장면 표면과 정렬되도록 유도하여 신뢰할 수 있는 메싱을 가능하게 한다.
• 확장 가능한 메쉬 추출 방법(Poisson 재구성)과 선택적 공동 메쉬–가우시안 정제 작업 흐름을 제공한다.
• 가우시안을 편집 가능한 메쉬에 바인딩하여 편집, 애니메이션, 재조명을 가능하게 한다.

제안 방법

• 장면 표면에 대한 정렬 및 균일한 분포를 강제하는 정규화 항을 도입한다.
• 가우시안 밀도에서 이상적인 밀도 기반 표면 거리 f(p)를 도출하고 샘플링 포인트에서 |f(p)−f̂(p)|를 최소화하여 가우시안을 표면으로 유도한다.
• 훈련 시점의 뷰에서 깊이 맵을 사용하여 f̂(p)를 추정하는 효율적인 SDF 기반 정규화를 계산한다.
• 가우시안 밀도의 레벨 세트에서 점을 샘플링하고 Poisson 재구성을 적용하여 메쉬를 추출하되, 필요 시 SDF의 법선 벡터를 사용한다.
• 선택적으로 새로운 가우시안을 추출된 메쉬에 바인딩하고 메쉬와 가우시안을 공동 최적화하여 렌더링 및 편집 기능을 향상시킨다.
• 단일 GPU에서 수 분 내에 편집 가능한 메쉬를 제공하는 실용적인 파이프라인을 제공한다.

실험 결과

연구 질문

• RQ1 3D Gaussian Splatting의 가우시안을 어떻게 정규화하여 장면 표면과 일치시킬 수 있는가?
• RQ2 레벨 세트 샘플링 전략과 Poisson 재구성을 사용하여 조밀하고 비구조적 가우시안 필드에서 메쉬를 효율적으로 추출할 수 있는가?
• RQ3 추출된 메쉬에 가우시안을 바인딩하고 이를 공동 정제하면 렌더링 품질이 향상되고 메쉬 기반 편집이 가능해지는가?
• RQ4 SuGaR가 메시 기반 및 메시 프리 baselines와 비교하여 렌더링 품질과 추출 속도 측면에서 어떤 차이가 있는가?

주요 결과

• 정규화 항은 가우시안을 장면 표면에 맞추고 균일하게 표면을 덮도록 유도하여 메쉬 추출을 용이하게 한다.
• 레벨 세트 샘플링과 Poisson 재구성을 통한 메쉬 추출은 확장 가능하며 NeRF 기반 메싱 방식에 비해 속도가 크게 빠르며, 대개 단일 GPU에서 수 분 이내에 완료된다.
• 추출된 메쉬에 가우시안을 바인딩하고 이를 공동으로 정제하면 렌더링 품질이 향상되고 메쉬 기반 편집 및 재조명이 가능해진다.
• 실험을 통해 SuGaR가 고품질 렌더링을 달성하고 메시 기반 또는 방사 필드에 의존하는 여러 최첨단 방법과 비교하여 경쟁력 있거나 우수한 성능을 보임을 확인했다.