[논문 리뷰] MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo

Tianqi Liu, Guangcong Wang외 7명|arXiv (Cornell University)|2024. 05. 20.

Advanced Vision and Imaging인용 수 4

한 줄 요약

MVSGaussian는 다중 시점 스테레오(MVS)를 사용하여 기하학적 특징을 인코딩하고 이를 가우시안 파rameter로 디코딩함으로써 새로운 시각 합성에 대한 빠르고 일반화 가능한 3D 가우시안 스플래터링 프레임워크를 제안한다. 이는 DTU, LLFF, NeRF Synthetic, Tanks and Temples 데이터셋에서 최신 기준 수준의 시각 합성 품질을 달성하며, 실시간 렲링과 1개 장면당 60초 이내의 최적화를 구현한다.

ABSTRACT

We present MVSGaussian, a new generalizable 3D Gaussian representation approach derived from Multi-View Stereo (MVS) that can efficiently reconstruct unseen scenes. Specifically, 1) we leverage MVS to encode geometry-aware Gaussian representations and decode them into Gaussian parameters. 2) To further enhance performance, we propose a hybrid Gaussian rendering that integrates an efficient volume rendering design for novel view synthesis. 3) To support fast fine-tuning for specific scenes, we introduce a multi-view geometric consistent aggregation strategy to effectively aggregate the point clouds generated by the generalizable model, serving as the initialization for per-scene optimization. Compared with previous generalizable NeRF-based methods, which typically require minutes of fine-tuning and seconds of rendering per image, MVSGaussian achieves real-time rendering with better synthesis quality for each scene. Compared with the vanilla 3D-GS, MVSGaussian achieves better view synthesis with less training computational cost. Extensive experiments on DTU, Real Forward-facing, NeRF Synthetic, and Tanks and Temples datasets validate that MVSGaussian attains state-of-the-art performance with convincing generalizability, real-time rendering speed, and fast per-scene optimization.

연구 동기 및 목표

• 일반적으로 각 장면당 수분이 소요되는 3D 가우시안 스플래터링의 최적화 비효율성을 해결한다.
• 높은 매개변수 민감도로 인해 새로운 장면에 대한 명시적 3D 가우시안 표현의 일반화가 어려운 문제를 극복한다.
• 스플래터링과 볼륨 렌더링을 조합한 하이브리드 렌더링 전략을 통해 암시적 NeRF 기반 방법을 초월한 일반화 성능을 향상시킨다.
• 다중 시점 기하학적 일致성 집합 전략을 도입하여 초기화에 활용함으로써 특정 장면에 대한 빠르고 고품질의 최적화를 가능하게 한다.
• 기존 일반화 가능한 NeRF 및 순수한 3D-GS 방법보다 실시간 추론 및 더 빠른 최적화를 달성한다.

제안 방법

• 다중 시점 스테레오(MVS)를 활용해 깊이를 추정하고 3D 점의 기하학적 특징을 인코딩하며, 공간 인식을 향상시키기 위해 2D U-Net을 사용한다.
• MLP를 통해 특징를 피드포워드 방식으로 가우시안 파arameter(위치, 스케일, 회전, 색상)로 디코딩한다.
• 표준 스플래터링과 깊이 인식 볼륨 렌더링을 조합한 하이브리드 가우시안 렌더링 전략을 도입하여 일반화 성능을 향상시킨다.
• 일반화 가능한 모델에서 유도된 점군을 다중 시점 기하학적 일치성 검사를 통해 집계하고, 노이즈가 있는 가우시안을 필터링하면서 유효한 점군은 유지한다.
• 집계된 일관성 있는 점군을 장면별 최적화의 초기화로 사용하여 계산 비용을 감소시키고 수렴 속도를 가속화한다.
• 실시간 추론 및 최적화 중 렌더링을 위해 가시화 가능한 타일 기반 레스터라이저를 사용해 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 MVS 기반 기하학적 추론을 활용한 일반화 가능한 3D 가우시안 스플래터링 프레임워크를 구축할 수 있는가? 이는 새로운 장면에서의 빠른 추론을 가능하게 하는가?
• RQ2 스플래터링과 볼륨 렌더링을 조합함으로써 단독으로 사용할 경우보다 일반화 성능이 어떻게 향상되는가?
• RQ3 기하학적 일치성 기반 집합 전략이 장면별 최적화의 초기화 품질을 크게 향상시킬 수 있는가?
• RQ4 일반화 가능한 모델과 순수한 3D-GS를 비교했을 때, 추론 속도, 렌더링 품질, 최적화 시간 사이의 상호 교환 관계는 어떠한가?
• RQ5 이 방법은 실세계 및 합성 벤치마크를 포함한 다양한 장면 유형에 대해 얼마나 잘 일반화되는가?

주요 결과

• MVSGaussian는 DTU, LLFF, NeRF Synthetic, Tanks and Temples 데이터셋에서 최신 기준 수준의 시각 합성 성능을 달성하며, 각각 PSNR 28.21, 24.07, 26.46, 23.28을 기록한다.
• 프레임 레이트 350 FPS로 실시간 렌더링을 구현하여 NeRF 기반 방법을 크게 능가하고, 순수한 3D-GS의 속도를 따라간다.
• Real Forward-facing 데이터셋에서 장면별 최적화가 단 45초 만에 완료되며, 순수한 3D-GS의 10분과 NeRF의 10시간에 비해 빠르게 처리된다.
• 하이브리드 렌더링 전략(splatting + volume rendering)은 단독 스플래터링 또는 볼륨 렌더링 기반 베이스라인 대비 PSNR를 0.73–1.00 향상시킨다.
• 기하학적 일치성 집합 전략은 Real Forward-facing에서 PSNR 26.98을 기록하여 직접 연결(26.18)과 볼륨 다운샘플링(26.72)을 모두 초월한다.
• 구형 조화 함수(SH) 디코딩이 아닌 RGB 값 직접 디코딩이 일반화 성능을 향상시킨다. 특히 NeRF Synthetic 데이터셋에서 SH 디코딩은 PSNR를 1.19점 감소시켰다.