[논문 리뷰] Robust Gaussian Splatting

François Darmon, Lorenzo Porzi외 2명|arXiv (Cornell University)|2024. 04. 05.

Advanced Statistical Process MonitoringDecision Sciences인용 수 3

한 줄 요약

이 논문은 카메라 포즈에 대한 가우시안 분포로 운동 흐림을 함께 모델링하는 강력한 3D 가우시안 스플래터링 프레임워크를 제안한다. 이를 통해 카메라 포즈 보정과 흐림 보정을 통합적으로 최적화할 수 있다. 또한 2D 공분산 오프셋과 이미지별 색상 변환을 도입하여 초점 불일치 흐림을 보완하고, 조명 및 화이트 밸런스 변화를 처리하여 실제 데이터(ScanNet++)와 합성 데이터(Deblur-NeRF) 벤치마크에서 최신 기술 수준의 성능을 달성하며, PSNR 및 SSIM 측면에서 뚜렷한 향상을 이룬다.

ABSTRACT

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.

연구 동기 및 목표

• 손실된 품질의 수동 촬영을 포함한 실제 응용 분야에서 3D 가우시안 스플래터링(3DGS)의 강인성을 향상시키기 위해.
• 운동 흐림, 초점 불일치 흐림, 완벽하지 않은 카메라 포즈, 조명 또는 카메라 설정으로 인한 색상 불일치와 같은 일반적인 오류 원인들을 해결하기 위해.
• 노이즈가 많고 왜곡된 입력 데이터에서도 3DGS의 학습 효율성과 렌더링 속도를 유지하면서 정밀도를 향상시키기 위해.
• ScanNet++와 같은 실제 데이터셋과 Deblur-NeRF와 같은 합성 벤치마크에서 실제 평가 프로토콜을 기반으로 한 평가를 통해 방법의 타당성을 검증하기 위해.

제안 방법

• 운동 흐림을 카메라 포즈에 대한 가우시안 분포로 모델링하여, 학습 중에 포즈와 흐림 보정을 함께 최적화할 수 있도록 한다.
• 투영 과정에서 가우시안에 2D 공분산 오프셋 메커니즘을 도입하여 이미지 평면에서의 초점 불일치 흐림을 보완한다.
• 환경 조명, 그림자, 화이트 밸런스 변화를 보정하기 위해 학습 가능한 이미지별 애핀 색상 변환을 통합한다.
• 추론 시 색상 변환을 구형 조화 함수에 통합하여 표준 3DGS 렌더러와의 호환성을 확보한다.
• 평가를 위해 테스트 시점 적응을 활용하여 예측된 포즈와 색상을 진짜 값과 정렬함으로써 과적합을 방지한다.
• 시험 평가를 위한 고품질 뷰 선택을 위해 블러리니스 측정값(최대 기울기 크기 감소)을 사용한다.

Figure 1 : Hand-held phone captures (top left, from ScanNet++) can be challenging to reconstruct with 3D Gaussian Splatting (top center), due to inter-frame color inconsistencies (bottom left), motion blur and defocus blur (bottom right). We show how these factors can explicitly and easily be modele

실험 결과

연구 질문

• RQ1 가우시안 분포를 활용한 확률적 수식을 통해 3DGS 프레임워크 내에서 운동 흐림과 카메라 포즈 오차를 동시에 보정할 수 있는가?
• RQ2 2D 공분산 오프셋을 통한 초점 불일치 흐림 모델링이 재구성 품질 향상에 얼마나 효과적인가?
• RQ3 이미지별 색상 변환은 환경 조명과 카메라 설정으로 인한 색상 불일치를 어느 정도 완화할 수 있는가?
• RQ4 제안된 방법은 실제 평가 조건 하에서 실제 데이터 및 합성 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 전체 방법은 ScanNet++ 벤치마크에서 PSNR 24.08, SSIM 0.850을 기록하여 기준 3DGS보다 2.35점 이상 높은 PSNR 성능을 달성한다.
• 색상 변환과 포즈 최적화를 함께 적용하면 기준 대비 2.37 PSNR 향상을 기록하며, 색상 보정을 생략할 경우 단독으로 1.37 PSNR 하락이 발생한다.
• 운동 흐림 모델링만으로도 PSNR 24.08을 달성하지만, 초점 불일치 흐림 모델링을 추가해도 향상되지 않으며, 이는 ScanNet++에서 초점 불일치 흐림의 빈도가 낮기 때문일 것이다.
• 합성 데이터셋인 Deblur-NeRF에서의 성능은 29.24 PSNR, 0.9168 SSIM을 기록하여 표준 3DGS(24.46 PSNR)와 Deblur-GS(29.43 PSNR)를 모두 초월한다.
• 실제 데이터에 대한 성능 향상이 뚜렷하며, 아블레이션 설정 전반에서 기준 3DGS 대비 PSNR 2.12–2.37점 향상된다.
• Deblur-NeRF에서는 초점 불일치 흐림 모델링이 유용하지만, ScanNet++에서는 운동 흐림이 지배적이며 초점 불일치 흐림이 흔하지 않아 효과가 미미하다.

Figure 2 : In 3DGS, defocus blur (left), color inconsistencies (center) and motion blur (right) can be modeled as simple transformations applied to the 3D Gaussian primitives (Sec. 4 ). This allows us to estimate per-camera motion, appearance and focus parameters, which can be factored out to recove