[논문 리뷰] GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views

Yaniv Wolf, Amit Bracha외 1명|arXiv (Cornell University)|2024. 04. 02.

3D Surveying and Cultural HeritageEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 3D 가우시안 스플래터링(3DGS) 모델에서 유사한 시점 합성 기반의 스테레오 校정된 신규 시점 렌더링을 활용하여 정확한 RGB-D 데이터를 생성하고, 이를 TSDF를 통해 융합함으로써 기하학적으로 일관된 메쉬를 생성하는 GS2Mesh라는 새로운 표면 재구성 방법을 제안한다. 이 방법은 스마트폰으로 촬영한 장면에 대해 추가로 5분 미만의 계산 시간만 소요되면서도 기존 방법들보다 정확도와 효율성에서 뛰어난 최신 기술 수준의 재구성 품질을 달성한다.

ABSTRACT

Recently, 3D Gaussian Splatting (3DGS) has emerged as an efficient approach for accurately representing scenes. However, despite its superior novel view synthesis capabilities, extracting the geometry of the scene directly from the Gaussian properties remains a challenge, as those are optimized based on a photometric loss. While some concurrent models have tried adding geometric constraints during the Gaussian optimization process, they still produce noisy, unrealistic surfaces. We propose a novel approach for bridging the gap between the noisy 3DGS representation and the smooth 3D mesh representation, by injecting real-world knowledge into the depth extraction process. Instead of extracting the geometry of the scene directly from the Gaussian properties, we instead extract the geometry through a pre-trained stereo-matching model. We render stereo-aligned pairs of images corresponding to the original training poses, feed the pairs into a stereo model to get a depth profile, and finally fuse all of the profiles together to get a single mesh. The resulting reconstruction is smoother, more accurate and shows more intricate details compared to other methods for surface reconstruction from Gaussian Splatting, while only requiring a small overhead on top of the fairly short 3DGS optimization process. We performed extensive testing of the proposed method on in-the-wild scenes, obtained using a smartphone, showcasing its superior reconstruction abilities. Additionally, we tested the method on the Tanks and Temples and DTU benchmarks, achieving state-of-the-art results.

연구 동기 및 목표

• 3D 가우시안 스플래터링(3DGS) 모델에서 표면에 대칭되지 않은 가우시안 원소 위치로 인해 발생하는 기하학적으로 일관되지도 않고 노이즈가 많은 표면 재구성 문제를 해결하기 위해.
• 기존 방법이 가우시안 중심에 의존하는 것과는 달리, 3DGS가 제공하는 강력한 신규 시점 렌더링 능력을 활용하여 재구성 정확도와 세부 사항의 정밀도를 향상시키기 위해.
• 특히 소비자 기기로 촬영한 실외 장면에 대해 기존 방법들과 비교해 표면 재구성에 소요되는 계산 시간을 줄이기 위해.
• 세그멘테이션 앤 어芮브(SAM) 기반 분할을 통합하여 깊이 맵과 융합함으로써 정확하고 반자동적인 개별 물체별 메쉬 재구성을 가능하게 하기 위해.
• Tanks and Temples 및 Mip-NeRF360 등의 벤치마크 데이터셋에서 현재 최신 기술 수준의 방법인 SuGaR를 뛰어넘기 위해.

제안 방법

• 먼저 3DGS를 사용해 장면을 촬영하며, 이는 포괄적인 신규 시점 렌더링을 위해 가우시안 원소를 최적화한다.
• 그 후, 신중히 선택한 가상 카메라 자세를 사용해 3DGS 모델에서 스테레오 校정된 신규 시점을 생성한다.
• 각 스테레오 쌍에 대해 딥 스테레오 매칭 모델을 적용하여 고품질의 깊이 맵을 추출하고, 이를 RGB-D 데이터로 구성한다.
• 다양한 시점에서 생성된 RGB-D 데이터를 Truncated Signed Distance Function(TSDF) 알고리즘을 통해 통합하여 기하학적으로 일관된 표면으로 통합한다.
• 개별 물체의 재구성을 위해, 깊이 맵과 Segment-Anything(SAM)에서 유도된 분할 마스크를 융합하여 개별 물체를 분리하고 재구성한다.
• 전체 파이프라인은 심지어 스마트폰으로 촬영한 장면에 대해서도 초기 3DGS 촬영 이후 약 5분의 추가 계산 시간만 소요된다.

실험 결과

연구 질문

• RQ1 3DGS 모델에서 스테레오 校정된 신규 시점 렌더링이 가우시안 중심에서 직접 재구성하는 것보다 더 정확한 깊이 맵을 생성할 수 있는가?
• RQ2 3DGS가 내재적으로 제공하는 시점 렌더링 품질을 활용하면, 가우시안 기하학을 정규화하는 방법보다 더 우수한 표면 재구성 성능을 달성할 수 있는가?
• RQ3 제안된 방법이 Tanks and Temples와 같은 벤치마크 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 낮은 계산 오버헤드를 유지할 수 있는가?
• RQ4 스마트폰로 촬영한 실외 장면에 대해 3DGS 기반의 신규 시점과 스테레오 매칭, TSDF 융합의 통합이 얼마나 효과적인가?
• RQ5 분할과 깊이 융합을 통해 정확하고 반자동적인 개별 물체별 메쉬 재구성을 지원할 수 있는가?

주요 결과

• Tanks and Temples 벤치마크에서 GS2Mesh는 이전 최신 기술 수준의 방법인 SuGaR를 정확도와 효율성 면에서 모두 뛰어넘었다.
• 스마트폰으로 촬영한 실외 장면에 대해, 작은 테이블 틈새와 같은 세밀한 디테일까지 높은 해상도 재구성을 달성했으며, BakedSDF에 비해 유사하거나 뛰어난 품질을 보였고, 훨씬 적은 시간 소요를 기록했다.
• MobileBrick 데이터셋에서의 분석 결과, 3DGS에서 렌더링된 이미지를 사용할 경우 원본 이미지 대비 재현율(88.45%)과 F1 점수(85.50%)가 향상되었고, 카프먼 거리도 낮아져(5.76 mm) 성능 향상을 입증했다.
• 스마트폰으로 촬영한 장면에 대해 초기 3DGS 촬영 이후 표면 재구성 시간을 5분 이내로 단축시켜 높은 효율성을 입증했다.
• MVS를 원본 이미지에 적용한 것과 비교해 더 깔끔하고 구멍이 적은 재구성을 제공했으며, 이는 3DGS 렌더링이 시점 일관성을 향상시키고 노이즈를 감소시킨다는 것을 시사한다.
• 한계점으로는 촬영이 잘 되지 않은 영역에서 '플로터' 가우시안으로 인한 아티팩트와, 스테레오 매칭 실패로 인한 투명 표면에서의 오류가 있다.