[논문 리뷰] SparseGS: Real-Time 360° Sparse View Synthesis using Gaussian Splatting

Haolin Xiong, Sairisheek Muttukuru외 3명|arXiv (Cornell University)|2023. 11. 30.

Advanced Vision and Imaging인용 수 4

한 줄 요약

SparseGS는 3D 가우시안 스플래터링을 기반으로 하여 깊이 사전 지식, 확산 기반 생성, 그리고 새로운 적응형 플로터 정리 연산자를 통합함으로써 소수의 샘플에서 최신 기술 수준의 성능을 달성하는 실시간 360° 희소 시각 합성 방법을 제안한다. 이는 배경 붕괴와 플로터를 감소시켜 기반 3DGS 대비 최대 30.5% 향상된 LPIPS 성능과 네RF 기반 방법 대비 15.6% 향상된 성능을 기록하며, 단일 GPU에서 실시간 추론를 유지한다.

ABSTRACT

3D Gaussian Splatting (3DGS) has recently enabled real-time rendering of unbounded 3D scenes for novel view synthesis. However, this technique requires dense training views to accurately reconstruct 3D geometry. A limited number of input views will significantly degrade reconstruction quality, resulting in artifacts such as "floaters" and "background collapse" at unseen viewpoints. In this work, we introduce SparseGS, an efficient training pipeline designed to address the limitations of 3DGS in scenarios with sparse training views. SparseGS incorporates depth priors, novel depth rendering techniques, and a pruning heuristic to mitigate floater artifacts, alongside an Unseen Viewpoint Regularization module to alleviate background collapses. Our extensive evaluations on the Mip-NeRF360, LLFF, and DTU datasets demonstrate that SparseGS achieves high-quality reconstruction in both unbounded and forward-facing scenarios, with as few as 12 and 3 input images, respectively, while maintaining fast training and real-time rendering capabilities.

연구 동기 및 목표

• 기존 방법이 배경 붕괴와 플로터 문제를 겪는 희소한 학습 시각에서 일관된 360° 새로운 시각 합성을 해결하기 위함.
• 3D 가우시안 스플래터링의 소수 설정에서의 한계를 극복하기 위해 명시적이고 미분 가능한 제약 조건과 새로운 정리 기법을 도입하기 위함.
• 제한된 학습 데이터로도 무한대에 이르는 360° 시나리오에서 고해상도 결과를 유지하면서 실시간 렲링 성능를 달성하기 위함.
• 암시적 신경 렌더링 표현과는 달리, 3D 가우시안의 명시적 성질을 활용하여 플로터와 같은 아티팩트를 직접 적응형으로 조작할 수 있도록 하기 위함.

제안 방법

• 이 방법은 3D 가우시안 스플래터링을 기반으로 하며, 렌더링된 시각에서 고밀도이면서 비정상적인 위치에 있는 아티팩트를 식별하고 제거하는 새로운 적응형 플로터 정리 연산자를 도입한다.
• 예측된 깊이 맵 간 피어슨 상관계수를 사용하여 깊이 일관성을 정규화하기 위해 깊이 상관관계 손실을 통합한다.
• 학습 중에 시야 커버리지가 낮은 영역을 보완하기 위해 확산 모델의 스코어 디스틸레이션 샘플링(SDS) 손실을 적용한다.
• 학습 파이프라인은 20,000 및 25,000 반복 시점에서 반복적인 정리를 통합하며, 플로터를 탐지하고 제거하기 위해 학습된 임계값(a=97, b=-8)을 사용한다.
• 일반화 성능 향상을 위해 128×128 패치 기반 깊이 상관관계 손실을 사용하며, 각 반복에서 50%의 패치를 선택한다.
• 깊이와 확산 감독의 기여도를 균형 잡기 위해 λ_depth=0.1 및 λ_SDS=5×10⁻⁴와 같은 초모수를 사용한다.

Figure 1 : Our proposed pipeline incorporates depth and diffusion constraints along with a floater pruning technique to improve few-shot novel view synthesis performance. During training, we render the alpha-blended depth $d^{\text{alpha}}$ and use Pearson correlation to encourage it to align with $

실험 결과

연구 질문

• RQ1 소수의 시각에서 최소한의 학습 시각으로 명시적 3D 가우시안 표현을 효과적으로 360° 새로운 시각 합성에 적용할 수 있는가?
• RQ2 깊이 상관관계와 확산 기반 감독을 통합함으로써 희소 시각 설정에서 플로터와 배경 붕괴를 현저히 줄일 수 있는가?
• RQ3 3D 가우시안에 직접 적용되는, 미분 가능한 정리 연산자가 신경 렌더링 필드의 암시적 정규화보다 우월한 성능을 낼 수 있는가?
• RQ4 명시적 제약 조건과 적응형 정리의 조합이 무한대 시나리오에서 추론 속도와 렌더링 품질에 어떤 영향을 미치는가?

주요 결과

• SparseGS는 Mip-NeRF-360 데이터셋에서 소수 설정 조건에서 기반 3D 가우시안 스플래터링 대비 LPIPS 성능을 30.5% 향상시켰다.
• 네RF 기반 방법 대비 LPIPS 성능을 15.6% 향상시켜 더 뛰어난 일반화 능력과 아티팩트 억제 능력을 입증했다.
• 제거 실험 결과, 플로터 정리 기법이 PSNR 향상에 가장 큰 기여를 하며, 이를 제거할 경우 1.0점 감소함을 확인했다.
• 완전한 모델은 깊이 상관관계 손실에서 기인하는 매끄러운 깊이 맵과 정리 및 확산 기반 기법에서 기인하는 정확한 배경 세부 정보를 결합한 최고의 깊이 맵 품질을 달성했다.
• 단일 RTX 3090에서 40 FPS로 실행되어, 이전 방법 대비 훨씬 낮은 학습 및 추론 비용으로 실시간 추론를 달성했다.
• 강력한 성능에도 불구하고, 특히 20개 이하의 초기 점을 가진 희소 시각 시나리오에서 정확하지 않은 COLMAP 점군에 민감하게 반응하는 경향이 있다.

Figure 2 : An illustration of how $d^{\text{alpha}}$ and $d^{\text{mode}}$ can disagree. On top, we see an example ray with 4 gaussians along it. On bottom, we see values of $T_{i}$ , $\alpha_{i}$ , and $w_{i}$ along this ray. Note the upward and downward axes both represent positive values and are