[논문 리뷰] InstantSplat: Sparse-view Gaussian Splatting in Seconds

Zhiwen Fan, Wenyan Cong외 10명|arXiv (Cornell University)|2024. 03. 29.

Spectroscopy Techniques in Biomedical and Chemical Research인용 수 9

한 줄 요약

InstantSplat는 포즈-프리(Pose-free), 희소 뷰(sparse-view) 3D Gaussian Splatting을 밀집 스테레오 사전(dense stereo priors)과 결합하여, 사전에 계산된 카메라 내부 파라미터/외부 파라미터에 의존하지 않고도 대규모 신(Scene)들을 1분 이내에 재구성하고 렌더링합니다.

ABSTRACT

While neural 3D reconstruction has advanced substantially, its performance significantly degrades with sparse-view data, which limits its broader applicability, since SfM is often unreliable in sparse-view scenarios where feature matches are scarce. In this paper, we introduce InstantSplat, a novel approach for addressing sparse-view 3D scene reconstruction at lightning-fast speed. InstantSplat employs a self-supervised framework that optimizes 3D scene representation and camera poses by unprojecting 2D pixels into 3D space and aligning them using differentiable neural rendering. The optimization process is initialized with a large-scale trained geometric foundation model, which provides dense priors that yield initial points through model inference, after which we further optimize all scene parameters using photometric errors. To mitigate redundancy introduced by the prior model, we propose a co-visibility-based geometry initialization, and a Gaussian-based bundle adjustment is employed to rapidly adapt both the scene representation and camera parameters without relying on a complex adaptive density control process. Overall, InstantSplat is compatible with multiple point-based representations for view synthesis and surface reconstruction. It achieves an acceleration of over 30x in reconstruction and improves visual quality (SSIM) from 0.3755 to 0.7624 compared to traditional SfM with 3D-GS.

연구 동기 및 목표

• 제한 없는 희소 뷰 환경에서 사전에 계산된 카메라 내부 파라미터/외부 파라미터에 의존하지 않는 강 robust한 새로운 뷰 합성(NVS)을 모티브로 설정합니다.
• 명시적 3D Gaussian Splatting과 엔드 투 엔드 Dense stereo priors를 결합하여 빠르고 포즈 프리한 장면 재구성을 가능하게 합니다.
• 지오메트리를 초기화하고 가우시안 속성 및 카메라 매개변수를 공동으로 최적화하는 간소화된 최적화 파이프라인을 제공합니다.
• 개선된 렌더링 품질과 포즈 정확도와 함께 대규모 실외 신까지 확장 가능함을 입증합니다.

제안 방법

• InstantSplat를 제안합니다. 두 단계 파이프라인: Globally Align된 포인트 맵과 초기 자세를 얻기 위한 Coarse Geometric Initialization (CGI)으로부터 시작합니다.사전 학습된 Dense Stereo 모델(DUSt3R)에서 시작합니다.
• DUSt3R를 이용해 보정되지 않거나 포즈가 없는 이미지들로부터 뷰별 포인트 맵과 신뢰도 맵을 생성하고, Weiszfeld 기반 초점 추정으로 카메라 내부 파라미터를 회복합니다.
• 전역으로 정렬된 3D 선험(prior)에서 시작하여 3D 가우시안 속성과 카메라 파라미터를 공동으로 다듬는 Fast 3D-Gaussian Optimization (F-3DGO)을 수행하고 포즈 정규화를 적용합니다.
• 색상 인코딩과 시점 방향 의존 계수를 SH 기반으로 하는 3D Gaussian Splatting(3D-GS)으로 렌더링합니다.
• 훈련된 3D-GS 모델을 고정시키고 테스트 뷰의 카메라 포즈를 최적화하여 광도 차이를 최소화하는 NeRFmm에서 영감을 얻은 전략으로 테스트 뷰 포즈를 정렬합니다.

실험 결과

연구 질문

• RQ1 COLMAP 유형의 사전 계산에 의존하지 않는 포즈-프리, 희소 뷰 시나리오에서 NVS를 어떻게 수행할 수 있는가?
• RQ2 엔드 투 엔드 Dense Stereo priors를 가우시안 스플랫팅과 효과적으로 통합하여 대규모 실외 신에서 정확한 포즈 추정과 함께 고품질 렌더링을 생성할 수 있는가?
• RQ3 전역으로 정렬된 포인트 맵으로 초기화하는 것이 최적화 효율성과 최종 렌더링 품질에 어떤 영향을 미치는가?
• RQ4 가우시안 속성과 카메라 매개변수를 포즈 정규화 하에 공동 최적화하는 것이 포즈 의존적 방법에 비해 속도와 정확도 면에서 어떤 차이가 있는가?

주요 결과

• InstantSplat는 렌더링 품질 향상을 달성합니다(예: Tanks & Temples 및 MVImgNet에서 SSIM이 0.89까지). 또한 최적화 시간은 크게 줄어 1분 이내로 달성됩니다.
• 포즈 추정 정확도가 크게 향상되며, 평가된 신 전반에서 ATE 감소(예: Tanks & Temples에서 0.055에서 0.011로 감소) 및 RPE 개선이 나타납니다.
• 본 방법은 CF-3DGS 및 Nope-NeRF와 같은 포즈-프리 기반의 기준선보다 렌더링 품질(PSNR/SSIM/LPIPS) 및 포즈 지표 면에서 우수하며 불안정한 포즈 추정에서 발생하는 아티팩트를 피합니다.
• 전역으로 정렬된 포인트 맵을 선험으로 사용하는 것은 3DGS의 복잡한 적응 밀도 제어 의존을 감소시키고 최적화를 가속화합니다.
• 포즈 정규화 하에서 가우시안 속성과 카메라 매개변수를 공동 최적화하면 테스트 뷰에서 더 선명한 렌더링과 더 견고한 정합을 제공합니다.