[论文解读] EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images

Wangbo Yu, Chaoran Feng+7 more|arXiv (Cornell University)|May 29, 2024

Medical Imaging Techniques and ApplicationsMedicine被引用 3

一句话总结

EvaGaussians 提出了一种新颖的框架，利用事件相机数据流从运动模糊图像中重建高保真度的3D高斯溅射（3D-GS），显式建模模糊形成过程，并联合优化3D-GS参数与相机运动轨迹。该方法通过结合图像级去模糊和可微事件重建损失，实现了最先进的新视角合成质量，在存在模糊和低光照的真实场景中显著提升了细节恢复与保真度。

ABSTRACT

3D Gaussian Splatting (3D-GS) has demonstrated exceptional capabilities in 3D scene reconstruction and novel view synthesis. However, its training heavily depends on high-quality, sharp images and accurate camera poses. Fulfilling these requirements can be challenging in non-ideal real-world scenarios, where motion-blurred images are commonly encountered in high-speed moving cameras or low-light environments that require long exposure times. To address these challenges, we introduce Event Stream Assisted Gaussian Splatting (EvaGaussians), a novel approach that integrates event streams captured by an event camera to assist in reconstructing high-quality 3D-GS from blurry images. Capitalizing on the high temporal resolution and dynamic range offered by the event camera, we leverage the event streams to explicitly model the formation process of motion-blurred images and guide the deblurring reconstruction of 3D-GS. By jointly optimizing the 3D-GS parameters and recovering camera motion trajectories during the exposure time, our method can robustly facilitate the acquisition of high-fidelity novel views with intricate texture details. We comprehensively evaluated our method and compared it with previous state-of-the-art deblurring rendering methods. Both qualitative and quantitative comparisons demonstrate that our method surpasses existing techniques in restoring fine details from blurry images and producing high-fidelity novel views.

研究动机与目标

• 为解决3D高斯溅射（3D-GS）在运动模糊图像上失效的问题，该问题源于COLMAP中相机位姿不准确与特征匹配差。
• 利用事件相机的高时间分辨率和动态范围，建模运动模糊图像的形成过程。
• 在曝光期间联合优化3D-GS参数与相机运动轨迹，以实现鲁棒去模糊与高保真度新视角合成。
• 在无人机、机器人以及低光照等真实场景中，提升模糊普遍存在环境下的重建质量。
• 通过引入一个合成数据集与一个真实世界数据集，建立基于去模糊的3D重建新基准。

提出的方法

• 将事件相机的事件流集成到3D-GS优化流程中，以指导去模糊与运动估计。
• 通过模拟运动在曝光时间内对图像采集的影响，显式建模模糊形成过程。
• 使用可微事件模拟器将渲染图像转换为合成事件流，用于监督。
• 在图像级别应用模糊重建损失，以从模糊输入中恢复精细细节。
• 通过比较合成事件流与事件相机实际捕获的真实事件数据，实现事件重建损失。
• 在曝光期间联合优化3D-GS参数与相机运动轨迹，以提升位姿估计与场景重建质量。

实验结果

研究问题

• RQ1 事件相机数据能否有效用于从运动模糊图像中重建高质量3D-GS？
• RQ2 在存在运动模糊的情况下，集成事件流在多大程度上提升了相机位姿估计的准确性？
• RQ3 基于事件的监督在多大程度上增强了去模糊3D重建中精细纹理细节的恢复？
• RQ4 与在模糊输入上进行传统3D-GS训练相比，3D-GS与运动轨迹的联合优化表现如何？
• RQ5 与当前最先进的去模糊与3D重建技术相比，所提方法在新视角合成中的性能提升如何？

主要发现

• 在EvaGaussians-DAVIS数据集上，EvaGaussians取得5.0667的RankIQA最高分，显著优于基线方法如BAD-GS（6.2230）和EDNeRF（5.3200）。
• 在EvaGaussians-Blender合成数据集上，EvaGaussians实现20.09 dB的PSNR与0.2009的SSIM，全面超越所有基线方法，包括EDNeRF（PSNR: 19.09 dB, SSIM: 0.1909）。
• 该方法在复杂场景中表现出卓越的视觉保真度与伪影抑制能力，无论在物体级还是重设计场景中，均与真实图像高度接近。
• 在高度反光或稀疏场景（如泳池、菲西斯树）中，性能虽略有下降，但EvaGaussians仍保持最佳整体视觉质量与细节恢复能力。
• 定量结果表明，EvaGaussians在“Desk & Chair”场景中实现21.76 dB的PSNR与0.2245的SSIM，优于B-3DGS（PSNR: 16.21 dB, SSIM: 0.1454）。
• 该方法实现了从模糊输入出发的实时、高保真度新视角合成，展示了在自动驾驶导航与监控等真实场景中的实际应用潜力。