[论文解读] DeblurGS: Gaussian Splatting for Camera Motion Blur

Jeongtaek Oh, Jaeyoung Chung+2 more|arXiv (Cornell University)|Apr 17, 2024

Advanced Image Processing Techniques被引用 4

一句话总结

DeblurGS 是首个通过联合估计相机运动并优化场景几何结构，从运动模糊图像中优化清晰 3D 高斯点云渲染的方法。即使在使用从运动结构（Structure-from-Motion, SfM）获得的噪声较大的相机位姿初始化时，它仍能实现最先进的去模糊与新视角合成性能。该方法采用新颖的高斯密度增强退火策略与子帧对齐机制，实现了在真实智能手机视频上的鲁棒优化。

ABSTRACT

Although significant progress has been made in reconstructing sharp 3D scenes from motion-blurred images, a transition to real-world applications remains challenging. The primary obstacle stems from the severe blur which leads to inaccuracies in the acquisition of initial camera poses through Structure-from-Motion, a critical aspect often overlooked by previous approaches. To address this challenge, we propose DeblurGS, a method to optimize sharp 3D Gaussian Splatting from motion-blurred images, even with the noisy camera pose initialization. We restore a fine-grained sharp scene by leveraging the remarkable reconstruction capability of 3D Gaussian Splatting. Our approach estimates the 6-Degree-of-Freedom camera motion for each blurry observation and synthesizes corresponding blurry renderings for the optimization process. Furthermore, we propose Gaussian Densification Annealing strategy to prevent the generation of inaccurate Gaussians at erroneous locations during the early training stages when camera motion is still imprecise. Comprehensive experiments demonstrate that our DeblurGS achieves state-of-the-art performance in deblurring and novel view synthesis for real-world and synthetic benchmark datasets, as well as field-captured blurry smartphone videos.

研究动机与目标

• 为解决在运动模糊图像中重建清晰 3D 场景的挑战，特别是当从运动结构（Structure-from-Motion, SfM）获得的相机位姿初始化因模糊而严重不准确时。
• 克服现有基于 NeRF 的去模糊方法对已知或干净相机位姿的依赖，这些条件在真实世界场景中并不现实。
• 实现在 SfM 无法生成可靠初始位姿的真实世界快速移动模糊智能手机视频中的实用 3D 重建。
• 开发一种鲁棒的优化框架，通过可微渲染与模糊模拟，联合优化相机运动与 3D 场景几何结构。
• 证明即使在初始条件较差的情况下，3D 高斯点云渲染也能被有效用于去模糊，通过引入新的训练策略。

提出的方法

• DeblurGS 通过沿估计的运动轨迹累积渲染来模拟模糊，联合优化每个模糊输入图像的 3D 高斯点云渲染与 6-DoF 相机运动。
• 通过在连续相机运动轨迹上采样子帧并使用可学习的对齐参数，合成模糊渲染结果，从而实现精确的模糊建模。
• 该方法采用可微渲染流水线，最小化合成模糊图像与真实输入模糊观测之间的 L2 损失。
• 提出一种新颖的高斯密度增强退火策略，逐步提高高斯点创建的密度阈值，防止在相机运动不准确的训练初期生成虚假高斯点。
• 在相邻子帧渲染结果之间应用时间平滑度损失，以抑制抖动伪影并确保优化过程稳定。
• 在模糊合成过程中应用伽马校正，以更真实地模拟实际相机响应，提升渲染保真度与优化收敛性。

实验结果

研究问题

• RQ1 当使用 SfM 初始化的高误差位姿时，3D 高斯点云渲染能否被有效适配于运动模糊图像的去模糊？
• RQ2 在相机运动不准确且噪声较大的早期训练阶段，如何稳定 3D 高斯点云渲染的优化过程？
• RQ3 沿运动轨迹的子帧采样在提升模糊合成精度与最终去模糊质量方面发挥何种作用？
• RQ4 高斯密度增强退火策略如何影响由错误初始位姿引起的浮动伪影的抑制？
• RQ5 DeblurGS 是否能在模糊与位姿误差均严重的现实世界快速移动智能手机视频中实现 SOTA 性能？

主要发现

• DeblurGS 在合成与真实世界数据集上均实现了去模糊与新视角合成的 SOTA 性能，优于所有先前的基于 NeRF 与基于 3DGS 的方法。
• 在 ExBlur-NP 基准测试中，DeblurGS 达到 PSNR 32.15、SSIM 0.942 与 LPIPS 0.052，性能与使用干净位姿的 ExBluRF 相当，但其初始化来自噪声较大的 SfM 位姿。
• 即使在使用 COLMAP 初始化的位姿处理真实智能手机视频时，该方法仍能保持高质量重建，成功恢复复杂场景中的清晰细节。
• 消融实验证实，时间平滑度损失、高斯密度增强退火、对齐参数与伽马校正等所有组件对实现最优性能均至关重要。
• 在真实世界视频实验中，DeblurGS 成功在 6 秒内从 30 fps 智能手机视频重建出清晰的 3D 场景，展现出实际应用潜力。
• 高斯密度增强退火策略显著减少了浮动伪影，并通过防止早期优化阶段在错误位置生成高斯点，提升了重建质量。