[论文解读] Learning to Super Resolve Intensity Images from Events

Jonghyun Choi, Kuk‐Jin Yoon|arXiv (Cornell University)|Dec 3, 2019

Advanced Memory and Neural Computing参考文献 26被引用 5

一句话总结

本文提出了一种端到端深度学习网络，可直接从异步事件流重建高分辨率、高动态范围（HDR）的强度图像，其在细节恢复和性能方面优于结合事件到图像转换与超分辨率方法的最先进流水线。该方法利用事件数据，并可选地融合主动传感器像素（APS）帧或迭代优化，以进一步提升重建质量。

ABSTRACT

An event camera detects per-pixel intensity difference and produces asynchronous event stream with low latency, high dynamic range, and low power consumption. As a trade-off, the event camera has low spatial resolution. We propose an end-to-end network to reconstruct high resolution, high dynamic range (HDR) images directly from the event stream. We evaluate our algorithm on both simulated and real-world sequences and verify that it captures fine details of a scene and outperforms the combination of the state-of-the-art event to image algorithms with the state-of-the-art super resolution schemes in many quantitative measures by large margins. We further extend our method by using the active sensor pixel (APS) frames or reconstructing images iteratively.

研究动机与目标

• 为解决事件相机的低空间分辨率限制，从异步事件流中重建高分辨率强度图像。
• 开发一种端到端深度学习框架，直接将事件数据映射为高分辨率、高动态范围（HDR）图像。
• 在定量指标上超越结合最先进事件到图像转换与超分辨率方法的混合方案。
• 探索融合主动传感器像素（APS）帧或迭代图像重建以进一步提升图像质量。

提出的方法

• 该方法采用端到端深度神经网络，训练以直接从原始事件流重建高分辨率强度图像。
• 网络通过可学习滤波器和时空聚合模块，对异步事件数据中的时间与空间模式进行编码。
• 引入多尺度特征学习，以在重建图像中保留精细细节和纹理信息。
• 当可用时，该框架支持与主动传感器像素（APS）帧的融合，以提升空间精度并减少伪影。
• 提出一种迭代图像重建变体，通过多次网络传递对输出图像进行优化，以提高保真度。
• 模型通过感知损失、重建损失和对抗性损失的组合进行训练，以在锐度、真实感和细节之间取得平衡。

实验结果

研究问题

• RQ1 端到端深度学习模型能否有效从低分辨率事件流中重建高分辨率、高动态范围的强度图像？
• RQ2 所提出方法在定量上与最先进事件到图像转换与超分辨率技术的组合相比表现如何？
• RQ3 额外输入（如APS帧或迭代优化）在多大程度上提升了重建图像的质量？
• RQ4 该方法是否比现有方法更好地保留了精细场景细节和纹理？

主要发现

• 所提方法在多个定量指标上显著优于最先进事件到图像转换与超分辨率流水线的组合。
• 该模型在模拟和真实世界事件序列上均实现了更优的重建质量，能更有效地捕捉精细场景细节。
• 融合主动传感器像素（APS）帧可显著提升图像锐度和空间精度。
• 迭代图像重建进一步增强了保真度，尤其在复杂光照和运动条件下表现更优。
• 该方法在各类场景和动态范围下均保持稳健性能，展现出良好的泛化能力。