[논문 리뷰] DeblurGS: Gaussian Splatting for Camera Motion Blur

Jeongtaek Oh, Jaeyoung Chung외 2명|arXiv (Cornell University)|2024. 04. 17.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

DeblurGS는 움직임으로 뿌연 이미지에서 날카운 3D 가우시안 스플래터링을 동시에 카메라 운동 추정과 장면 기하학적 구조 개선을 통해 최적화하는 최초의 방법이다. 구조에서 운동(SfM)을 통해 얻은 노이즈가 많은 카메라 자세를 사용하더라도, 새로운 가우시안 조밀화 점진화 전략과 하위 프레임 정렬을 통해 실제 스마트폰 비디오에 대한 강력한 최적화를 가능하게 하여, 상태의 기술(SOTA) 수준의 뿌리개선 및 새로운 시점 합성 성능을 달성한다.

ABSTRACT

Although significant progress has been made in reconstructing sharp 3D scenes from motion-blurred images, a transition to real-world applications remains challenging. The primary obstacle stems from the severe blur which leads to inaccuracies in the acquisition of initial camera poses through Structure-from-Motion, a critical aspect often overlooked by previous approaches. To address this challenge, we propose DeblurGS, a method to optimize sharp 3D Gaussian Splatting from motion-blurred images, even with the noisy camera pose initialization. We restore a fine-grained sharp scene by leveraging the remarkable reconstruction capability of 3D Gaussian Splatting. Our approach estimates the 6-Degree-of-Freedom camera motion for each blurry observation and synthesizes corresponding blurry renderings for the optimization process. Furthermore, we propose Gaussian Densification Annealing strategy to prevent the generation of inaccurate Gaussians at erroneous locations during the early training stages when camera motion is still imprecise. Comprehensive experiments demonstrate that our DeblurGS achieves state-of-the-art performance in deblurring and novel view synthesis for real-world and synthetic benchmark datasets, as well as field-captured blurry smartphone videos.

연구 동기 및 목표

• 움직임 뿌리개선된 이미지에서 3D 장면을 재구성하는 데 있어, SfM에서 유도된 카메라 자세 초기화가 뿌리개선으로 인해 심각하게 정확하지 않을 경우의 과제를 해결하기 위해.
• 기존의 NeRF 기반 뿌리개선 방법들이 알려진 또는 청소년 카메라 자세에 의존하는 한계를 극복하기 위해, 실제 환경에서는 비현실적인 조건에서의 적용을 가능하게 하기 위해.
• SfM이 신뢰할 수 없는 초기 자세를 생성하는 실생활의 고속 이동 뿌리개선 스마트폰 비디오에서 실용적인 3D 재구성을 가능하게 하기 위해.
• 다양한 렌더링 및 뿌리개선 시뮬레이션을 통한 카메라 운동과 3D 장면 기하학적 구조를 동시에 개선하는 강력한 최적화 프레임워크를 개발하기 위해.
• 새로운 학습 전략을 도입함으로써, 나쁜 초기 조건에서도 3D 가우시안 스플래터링이 효과적으로 뿌리개선에 활용될 수 있음을 입증하기 위해.

제안 방법

• DeblurGS는 추정된 운동 궤적을 따라 누적 렌더링을 통해 뿌리개선을 시뮬레이션함으로써, 각 뿌리개선된 입력 이미지에 대해 3D 가우시안 스플래터링과 6-DoF 카메라 운동을 동시에 최적화한다.
• 학습 가능한 정렬 파rameter를 사용해 연속적인 카메라 운동 궤적을 따라 하위 프레임을 샘플링함으로써, 정확한 뿌리개선 모델링을 가능하게 하는 뿌리개선 렌더링을 합성한다.
• 합성된 뿌리개선 이미지와 실제 입력 뿌리개선 관측치 사이의 L2 손실을 최소화하는 차별가능한 렌더링 파이프라인을 활용한다.
• 새로운 가우시안 조밀화 점진화 전략은 초기 학습 단계에서 카메라 운동이 정확하지 않을 때 잡음이 많은 가우시안이 생성되는 것을 방지하기 위해, 가우시안 생성을 위한 조밀화 임계값을 점진적으로 증가시킨다.
• 연속된 하위 프레임 렌더링 간에 시간적 부드러움 손실을 적용하여 진동 잡음 아티팩트를 억제하고 안정적인 최적화를 보장한다.
• 실제 카메라 반응을 더 잘 시뮬레이션하기 위해, 뿌리개선 합성 과정에서 감마 보정을 적용함으로써, 렌더링 정밀도 향상과 최적화 수렴성 향상을 달성한다.

실험 결과

연구 질문

• RQ1 SfM에서 유도된 높은 오차를 가진 카메라 자세로 초기화된 경우, 3D 가우시안 스플래터링이 움직임 뿌리개선된 이미지에 대해 효과적으로 적용될 수 있는가?
• RQ2 카메라 운동이 정확하지 않고 노이즈가 많은 초기 학습 단계에서 3D 가우시안 스플래터링 최적화가 어떻게 안정화될 수 있는가?
• RQ3 운동 궤적을 따라 하위 프레임 샘플링이 뿌리개선 합성 정확도와 최종 뿌리개선 품질 향상에 어떤 역할을 하는가?
• RQ4 가우시안 조밀화 점진화 전략이 잘못된 초기 자세로 인해 발생하는 부유 잡음 아티팩트 억제에 어떤 영향을 미치는가?
• RQ5 실생활의 고속 이동 스마트폰 비디오에서 뿌리개선과 자세 오차가 심한 상황에서도 DeblurGS가 SOTA 성능을 달성할 수 있는가?

주요 결과

• DeblurGS는 합성 및 실생활 데이터셋에서 모두 뿌리개선 및 새로운 시점 합성 성능에서 모든 이전의 NeRF 기반 및 3DGS 기반 방법을 능가하는 SOTA 성능을 달성한다.
• ExBlur-NP 벤치마크에서 DeblurGS는 PSNR 32.15, SSIM 0.942, LPIPS 0.052를 기록하며, 청소년 자세를 사용한 ExBluRF와 동일한 성능를 달성하지만, 노이즈가 많은 SfM 초기화 상태에서 작동한다.
• 실제 스마트폰 비디오에서 COLMAP로 초기화된 자세를 사용하더라도 고해상도 재구성이 유지되며, 복잡한 장면에서 날카로운 세부 정보를 성공적으로 복원한다.
• 절단 실험 결과, 시간적 부드러움 손실, 가우시안 조밀화 점진화 전략, 정렬 파arameter, 감마 보정 등 모든 구성 요소가 최적 성능을 내기 위해 필수적임을 확인한다.
• 실생활 비디오 실험에서 DeblurGS는 30fps 스마트폰 비디오를 6초 이내에 처리하여 날카로운 3D 장면을 성공적으로 재구성하며 실용성과 가능성을 입증한다.
• 가우시안 조밀화 점진화 전략은 초기 최적화 단계에서 잘못된 위치에 가우시안이 생성되는 것을 방지함으로써 부유 잡음 아티팩트를 크게 감소시키고 재구성 품질을 향상시킨다.