[논문 리뷰] EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images

Wangbo Yu, Chaoran Feng외 7명|arXiv (Cornell University)|2024. 05. 29.

Medical Imaging Techniques and ApplicationsMedicine인용 수 3

한 줄 요약

EvaGaussians는 운동 흐림이 발생한 이미지에서 고해상도 3D 가우시안 스플래터링(3D-GS)을 재구성하기 위해 이벤트 카메라 스트림을 활용하는 새로운 프레임워크를 제안한다. 이는 흐림 형성 과정을 명시적으로 모델링하고, 3D-GS 파라미터와 카메라 운동 궤적을 함께 최적화한다. 영상 수준의 디블러링과 미분 가능한 이벤트 재구성 손실을 결합함으로써 실제 흐림과 저조도 환경에서 세부 사항 복구와 정밀도를 크게 향상시켜 최신 기술 수준의 신규 시야 합성 품질을 달성한다.

ABSTRACT

3D Gaussian Splatting (3D-GS) has demonstrated exceptional capabilities in 3D scene reconstruction and novel view synthesis. However, its training heavily depends on high-quality, sharp images and accurate camera poses. Fulfilling these requirements can be challenging in non-ideal real-world scenarios, where motion-blurred images are commonly encountered in high-speed moving cameras or low-light environments that require long exposure times. To address these challenges, we introduce Event Stream Assisted Gaussian Splatting (EvaGaussians), a novel approach that integrates event streams captured by an event camera to assist in reconstructing high-quality 3D-GS from blurry images. Capitalizing on the high temporal resolution and dynamic range offered by the event camera, we leverage the event streams to explicitly model the formation process of motion-blurred images and guide the deblurring reconstruction of 3D-GS. By jointly optimizing the 3D-GS parameters and recovering camera motion trajectories during the exposure time, our method can robustly facilitate the acquisition of high-fidelity novel views with intricate texture details. We comprehensively evaluated our method and compared it with previous state-of-the-art deblurring rendering methods. Both qualitative and quantitative comparisons demonstrate that our method surpasses existing techniques in restoring fine details from blurry images and producing high-fidelity novel views.

연구 동기 및 목표

• COLMAP에서의 정확한 카메라 자세 추정과 특징 매칭의 어려움으로 인해 3D 가우시안 스플래터링(3D-GS)이 운동 흐림 이미지에서 실패하는 문제를 해결하기 위해.
• 이벤트 카메라의 고시간 해상도와 넓은 동적 범위를 활용하여 운동 흐림 이미지의 형성 과정을 모델링하기 위해.
• 노출 기간 동안 3D-GS 파라미터와 카메라 운동 궤적을 함께 최적화하여 강건한 디블러링과 고해상도 신규 시야 합성 구현을 위해.
• 운동 흐림이 흔한 실제 환경, 예를 들어 드론, 로봇, 저조도 환경에서의 재구성 품질 향상하기 위해.
• 합성 및 실세계 데이터셋을 도입하여 이중 기반 3D 재구성의 새로운 벤치마크 설정하기 위해.

제안 방법

• 이벤트 카메라의 이벤트 스트림을 3D-GS 최적화 파이프라인에 통합하여 디블러링과 운동 추정을 안내한다.
• 노출 시간 동안 운동이 이미지 획득에 미치는 영향을 시뮬레이션하여 흐림 형성 과정을 명시적으로 모델링한다.
• 렌더링된 이미지를 합성 이벤트 스트림으로 변환하기 위해 미분 가능한 이벤트 시뮬레이터를 사용한다.
• 영상 수준의 흐림 복원 손실을 적용하여 흐린 입력에서 세부 사항을 복구한다.
• 실제 이벤트 카메라가 캡처한 실세계 이벤트 데이터와 합성 이벤트 스트림을 비교하여 이벤트 재구성 손실을 구현한다.
• 노출 기간 동안 3D-GS 파라미터와 카메라 운동 궤적을 함께 최적화하여 자세 추정 및 장면 재구성 품질 향상

실험 결과

연구 질문

• RQ1 이벤트 카메라 데이터는 운동 흐림 이미지에서 고품질 3D-GS를 재구성하는 데 효과적으로 활용될 수 있는가?
• RQ2 이벤트 스트림을 통합함으로써 운동 흐림 상황에서 카메라 자세 추정 정확도는 어떻게 향상되는가?
• RQ3 이벤트 기반 지도 학습은 디블러링된 3D 재구성에서 세밀한 질감 세부 사항 복원에 얼마나 기여하는가?
• RQ4 노출 기간 동안 3D-GS와 운동 궤적을 함께 최적화하는 방식은 기존의 3D-GS 학습 방식에 비해 어떤가?
• RQ5 제안된 방법은 최신 기술 수준의 디블러링 및 3D 재구성 기법에 비해 신규 시야 합성에서 어떤 성능 향상을 보이는가?

주요 결과

• EvaGaussians는 EvaGaussians-DAVIS 데이터셋에서 5.0667의 최고 RankIQA 점수를 기록하여, BAD-GS(6.2230)와 EDNeRF(5.3200) 등 기존 기반 모델들을 크게 앞서며 뚜렷한 성능 우월성을 입증했다.
• EvaGaussians-Blender 합성 데이터셋에서 EvaGaussians는 PSNR 20.09 dB, SSIM 0.2009를 기록하여 EDNeRF(PSNR: 19.09 dB, SSIM: 0.1909)를 포함한 모든 기반 모델을 초월했다.
• 복잡한 장면에서 높은 시각적 정밀도와 아티팩트 감소를 보이며, 개체 수준 및 재설계된 장면 모두에서 정답 이미지에 가까운 결과를 제공했다.
• 높은 반사성 또는 희박한 장면(예: 수영장, 피쿠스)에서는 성능이 약간 감소하지만, 여전히 최고의 전체 시각적 품질과 세부 사항 복원 능력을 유지했다.
• '책상과 의자' 장면에서의 정량적 결과로, EvaGaussians는 PSNR 21.76 dB, SSIM 0.2245를 기록하여 B-3DGS(PSNR: 16.21 dB, SSIM: 0.1454)를 압도적으로 앞섰다.
• 실시간 고해상도 신규 시야 합성 구현을 통해 자율 주행 및 감시와 같은 실제 응용 분야에서의 실용성을 입증했다.