[论文解读] EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning

Lin Wang, Tae‐Kyun Kim+1 more|arXiv (Cornell University)|Mar 17, 2020

Advanced MRI Techniques and Applications参考文献 54被引用 9

一句话总结

EventSR 提出了一种端到端的对抗性学习框架，可直接从低分辨率（LR）异步事件流重建出高分辨率（HR）、高动态范围（HDR）且无运动模糊的强度图像，而无需依赖真实高分辨率图像或下采样核。该方法采用分阶段训练策略，通过对抗性损失和感知损失，依次完成低分辨率图像重建、图像恢复（去噪/去模糊）和超分辨率三个任务，实现了在模拟数据和真实世界数据上的最先进性能。

ABSTRACT

Event cameras sense intensity changes and have many advantages over conventional cameras. To take advantage of event cameras, some methods have been proposed to reconstruct intensity images from event streams. However, the outputs are still in low resolution (LR), noisy, and unrealistic. The low-quality outputs stem broader applications of event cameras, where high spatial resolution (HR) is needed as well as high temporal resolution, dynamic range, and no motion blur. We consider the problem of reconstructing and super-resolving intensity images from LR events, when no ground truth (GT) HR images and down-sampling kernels are available. To tackle the challenges, we propose a novel end-to-end pipeline that reconstructs LR images from event streams, enhances the image qualities and upsamples the enhanced images, called EventSR. For the absence of real GT images, our method is primarily unsupervised, deploying adversarial learning. To train EventSR, we create an open dataset including both real-world and simulated scenes. The use of both datasets boosts up the network performance, and the network architectures and various loss functions in each phase help improve the image qualities. The whole pipeline is trained in three phases. While each phase is mainly for one of the three tasks, the networks in earlier phases are fine-tuned by respective loss functions in an end-to-end manner. Experimental results show that EventSR reconstructs high-quality SR images from events for both simulated and real-world data.

研究动机与目标

• 解决在缺乏真实高分辨率图像或退化模型的情况下，从低分辨率事件流重建高质量、高分辨率（HR）强度图像的挑战。
• 克服现有方法因事件流累积和传感器限制而导致重建图像噪声大、模糊或质量低下的局限性。
• 开发一种统一的端到端流程，将图像重建、恢复与超分辨率整合于单一框架中，并以无监督方式训练。
• 通过引入对抗性学习和一种结合真实世界与模拟事件的新数据集，提升重建图像的视觉保真度和感知质量。
• 使事件相机在需要高空间分辨率、高动态范围和无运动模糊成像的应用场景中具备实际可用性。

提出的方法

• EventSR 采用三阶段端到端流程：（1）从事件流重建低分辨率强度图像，（2）恢复出真实感、无模糊的低分辨率图像，（3）利用 ×4 的缩放因子对恢复后的图像进行超分辨率重建。
• 该框架采用生成对抗网络（GAN）架构，每个阶段配备独立的判别器和生成器，支持通过对抗训练提升图像的感知质量。
• 在每个阶段应用对抗性损失（$\mathcal{L}_{Adv}^{r}, \mathcal{L}_{Adv}^{d}, \mathcal{L}_{Adv}^{s}$）和感知相似性损失（$\mathcal{L}_{Sim}^{r}, \mathcal{L}_{Sim}^{d}, \mathcal{L}_{Sim}^{s}$），以增强图像的真实感与细节表现。
• 采用阶段间训练策略，使后期阶段的损失可反向传播至前期网络，实现各阶段的联合优化与更优的特征学习。
• 通过一个新创建的公开数据集进行训练，该数据集包含11万张图像，融合了模拟事件、真实世界事件数据以及RGB超分辨率数据集，以增强模型泛化能力。
• 事件流通过时空事件堆叠表示进行嵌入，网络通过L1损失、感知损失与对抗性损失的组合进行优化，以平衡图像保真度与真实感。

Figure 1: Reconstructing realistic HDR SR intensity image from pure events. EventSR reconstructs LR HDR intensity image, restores realistic LR image and finally generates SR image (with scale factor of $\times 4$ ) from events in phase 1,2 and 3, respectively.

实验结果

研究问题

• RQ1 能否在不依赖任何真实高分辨率图像的前提下，从未知的低分辨率事件流中重建出高分辨率、高动态范围且无运动模糊的强度图像？
• RQ2 如何有效结合对抗性损失与感知损失，以提升从噪声大且稀疏的事件数据中重建图像的真实感与质量？
• RQ3 在单一训练流程中融合模拟与真实世界数据，对事件基图像重建与超分辨率任务有何影响？
• RQ4 三阶段端到端框架是否能优于将现有去模糊与超分辨率网络简单级联应用于事件数据的方法？
• RQ5 采用多阶段损失反向传播的分阶段训练策略，相比各阶段独立训练，如何显著提升整体性能？

主要发现

• EventSR 在从事件流重建高质量、超分辨率图像方面达到最先进性能，优于Tao等人[18]和Pan等人[30]等现有方法在去模糊与图像恢复方面的表现。
• 消融实验表明，若移除任意一项对抗性或感知损失（$\mathcal{L}_{Adv}^{r}, \mathcal{L}_{Adv}^{d}, \mathcal{L}_{Adv}^{s}$），图像质量将下降，训练变得不稳定或噪声增加，证明其必要性。
• 在训练数据集中同时使用模拟与真实世界数据，显著提升了网络的泛化能力与性能，尤其在第二阶段与第三阶段表现突出。
• 该框架成功从事件数据中重建出逼真、清晰且细节丰富的高分辨率图像，即使在无真实高分辨率图像的情况下，也充分证明了无监督对抗性学习的有效性。
• 在NVIDIA 1080 Ti GPU上，单张图像的推理时间约为300–500毫秒，参数量约为1700万，具备实时应用的计算可行性。
• 视觉对比显示，与基线方法相比，EventSR在边缘锐度、纹理清晰度和自然细节表现方面更优，尤其在×4超分辨率阶段表现显著。

Figure 2: An illustration of the proposed EventSR consisting of three phases: event to image reconstruction (Phase 1), event to image restoration (Phase 2), and event to image super-resolution (Phase 3) via unsupervised adversarial learning. With well designed training and test dataset, EventSR not