[论文解读] Event-Based Fusion for Motion Deblurring with Cross-modal Attention

Lei Sun, Christos Sakaridis+7 more|arXiv (Cornell University)|Nov 30, 2021

Photoacoustic and Ultrasonic Imaging被引用 7

一句话总结

该论文提出EFNet，一种端到端的两阶段去模糊网络，通过一种新颖的跨模态注意力机制融合基于帧和基于事件的数据。通过引入对称累积事件表示以及阶段间的门控连接，EFNet在合成数据集（GoPro）和真实世界数据集（REBlur）的运动去模糊基准上均达到最先进性能，PSNR相比之前方法最高提升2.47dB。

ABSTRACT

Traditional frame-based cameras inevitably suffer from motion blur due to long exposure times. As a kind of bio-inspired camera, the event camera records the intensity changes in an asynchronous way with high temporal resolution, providing valid image degradation information within the exposure time. In this paper, we rethink the eventbased image deblurring problem and unfold it into an end-to-end two-stage image restoration network. To effectively fuse event and image features, we design an event-image cross-modal attention module applied at multiple levels of our network, which allows to focus on relevant features from the event branch and filter out noise. We also introduce a novel symmetric cumulative event representation specifically for image deblurring as well as an event mask gated connection between the two stages of our network which helps avoid information loss. At the dataset level, to foster event-based motion deblurring and to facilitate evaluation on challenging real-world images, we introduce the Real Event Blur (REBlur) dataset, captured with an event camera in an illumination controlled optical laboratory. Our Event Fusion Network (EFNet) sets the new state of the art in motion deblurring, surpassing both the prior best-performing image-based method and all event-based methods with public implementations on the GoPro dataset (by up to 2.47dB) and on our REBlur dataset, even in extreme blurry conditions. The code and our REBlur dataset will be made publicly available.

研究动机与目标

• 解决现有仅基于图像的去模糊方法在处理极端或真实世界运动模糊时的局限性。
• 通过设计一种可学习的、基于注意力的机制，提升事件与图像模态的融合效果，实现对相关事件特征的选择性整合。
• 开发一种具有物理动机的事件表示方法，以更好地捕捉运动退化特征，用于去模糊任务。
• 通过REBlur数据集建立一个新的真实世界事件去模糊基准，该数据集在受控条件下捕捉严重运动模糊。
• 通过结合多级特征融合、门控信息流与两阶段网络架构，实现卓越的去模糊性能。

提出的方法

• EFNet采用类似U-Net的两阶段架构，第一阶段通过一种新颖的事件-图像跨模态注意力（EICA）模块，在多个层级上融合图像与事件特征。
• EICA模块应用多头通道注意力机制，根据事件特征对图像去模糊的相关性动态加权，实现选择性特征融合。
• 提出对称累积事件表示（SCER），以符合图像模糊形成的物理模型方式编码事件流。
• 采用事件掩码门控连接（EMGC），选择性地将第一阶段编码器和解码器的特征传输至第二阶段，以保留关键信息。
• 网络在成对的模糊图像、清晰图像与事件流上进行端到端训练，损失函数针对PSNR和SSIM进行优化。
• REBlur数据集通过高精度滑轨与受控光照条件采集，提供具有真实世界运动模糊、真实清晰图像与事件流的数据。

实验结果

研究问题

• RQ1 与简单融合策略相比，事件与图像特征之间的跨模态注意力是否能显著提升去模糊性能？
• RQ2 像SCER这样具有物理动机的事件表示方法是否在去模糊任务中优于标准事件累积方法？
• RQ3 具有门控特征流的两阶段网络架构在恢复高度模糊图像方面是否有效？
• RQ4 基于事件的去模糊方法是否能泛化到真实世界中的极端运动模糊场景，而不仅限于合成数据集？
• RQ5 多级特征融合与注意力机制对保留去模糊图像中的精细细节与边缘特征有何影响？

主要发现

• 在GoPro数据集上，EFNet达到35.46 dB的PSNR，相比仅基于图像的一阶段基线方法提升6.4 dB。
• 在REBlur数据集上，EFNet优于所有先前的基于事件与基于图像的去模糊方法，即使在极端模糊条件下也表现出强鲁棒性。
• 与逐元素相加、相乘或拼接等融合方式相比，EICA融合模块使PSNR提升0.6 dB或以上。
• SCER表示方法达到35.46 dB的PSNR，优于SBT（35.12 dB）与“堆叠”表示法（31.90 dB），证明其有效性。
• EMGC模块通过实现选择性、上下文感知的信息传输，使PSNR提升0.15 dB。
• 消融实验表明，多级特征融合与两阶段设计至关重要，完整模型相比基线使SSIM提升3.6%。