[论文解读] Formulating Event-based Image Reconstruction as a Linear Inverse Problem with Deep Regularization using Optical Flow

Zelin Zhang, Anthony Yezzi+1 more|arXiv (Cornell University)|Dec 12, 2021

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文提出了一种新颖且可解释的事件图像重建框架，将问题建模为在已知光流条件下的亮度线性逆问题，并利用经典与基于深度学习的正则化方法求解。该方法在无需训练重建RNN的情况下，仅使用短时间窗口的事件数据和图像去噪CNN作为正则化，实现了最先进（SOTA）的图像质量。

ABSTRACT

Event cameras are novel bio-inspired sensors that measure per-pixel brightness differences asynchronously. Recovering brightness from events is appealing since the reconstructed images inherit the high dynamic range (HDR) and high-speed properties of events; hence they can be used in many robotic vision applications and to generate slow-motion HDR videos. However, state-of-the-art methods tackle this problem by training an event-to-image Recurrent Neural Network (RNN), which lacks explainability and is difficult to tune. In this work we show, for the first time, how tackling the combined problem of motion and brightness estimation leads us to formulate event-based image reconstruction as a linear inverse problem that can be solved without training an image reconstruction RNN. Instead, classical and learning-based regularizers are used to solve the problem and remove artifacts from the reconstructed images. The experiments show that the proposed approach generates images with visual quality on par with state-of-the-art methods despite only using data from a short time interval. State-of-the-art results are achieved using an image denoising Convolutional Neural Network (CNN) as the regularization function. The proposed regularized formulation and solvers have a unifying character because they can be applied also to reconstruct brightness from the second derivative. Additionally, the formulation is attractive because it can be naturally combined with super-resolution, motion-segmentation and color demosaicing. Code is available at https://github.com/tub-rip/event_based_image_rec_inverse_problem

研究动机与目标

• 为解决端到端深度学习型事件到图像网络的局限性，如黑箱特性、难以调优以及存在伪影问题。
• 利用在已知光流条件下亮度重建的线性特性，实现更可解释且高效的解决方案框架。
• 提出一种统一的逆问题建模方法，支持超分辨率、运动分割和色彩去马赛克等附加任务。
• 用基于预训练深度去噪器的系统化、正则化优化方法，替代数据需求高且不可解释的RNN。
• 证明仅使用短时间窗口的事件数据，结合光流作为关键先验，即可实现高质量图像重建。

提出的方法

• 将事件图像重建建模为在未知亮度信号下的线性逆问题，已知光流场。
• 基于一阶事件生成模型，推导出事件为亮度与运动的线性函数的线性系统。
• 采用深度图像去噪卷积神经网络（CNN）作为非光滑、非凸正则化器，以抑制伪影并提升图像质量。
• 使用交替方向乘子法（ADMM）高效求解正则化优化问题。
• 将光流估计作为独立的、研究充分的子问题处理，支持模块化与可解释的设计。
• 通过相同的逆问题框架，自然扩展至超分辨率、运动分割和色彩去马赛克等其他任务。

实验结果

研究问题

• RQ1 当光流已知时，事件图像重建是否可建模为线性逆问题，从而实现非学习型、可解释的解决方案？
• RQ2 与最先进端到端RNN方法相比，正则化线性逆问题求解器在图像质量与计算效率方面表现如何？
• RQ3 预训练的深度图像去噪CNN是否可在不微调的情况下，作为事件图像重建的有效正则化器？
• RQ4 当仅使用短时间窗口的事件数据时，该方法是否仍能保持高性能？
• RQ5 该逆问题建模方法在多大程度上可扩展至超分辨率与运动分割等其他视觉任务？

主要发现

• 尽管仅使用短时间窗口的事件数据，该方法在基准数据集上仍实现了最先进图像重建质量。
• 使用预训练图像去噪CNN作为正则化器，可生成高保真度图像，视觉质量显著优于以往的RNN方法。
• 与端到端RNN相比，该方法具有显著更高的可解释性，因其将运动与亮度估计解耦，并采用广为人知的优化技术。
• 线性逆问题建模使超分辨率、运动分割与色彩去马赛克等任务可自然集成，充分展现了该框架的统一潜力。
• 该方法在标准基准测试中实现了具有竞争力的PSNR与SSIM指标，部分序列的PSNR值超过30 dB，证实了其高视觉质量。
• 该方法避免了事件的体素化处理及其带来的内存开销，从而实现了对稀疏事件流的高效处理。