[论文解读] High Frame Rate Video Reconstruction based on an Event Camera

Liyuan Pan, Richard Hartley+4 more|arXiv (Cornell University)|Mar 12, 2019

Advanced Memory and Neural Computing被引用 6

一句话总结

本文提出了一种新颖的 mEDI（多事件双积分）模型，该模型通过单个模糊强度帧及其对应的 DAVIS 相机事件数据，重建出高帧率、清晰的视频。通过将运动模糊建模为潜在清晰帧的积分，并利用事件数据恢复时间动态，该方法通过高效的优化实现了卓越的去模糊效果和高时间分辨率重建，在合成数据集和真实数据集上的定量指标与视觉质量均优于当前最先进方法。

ABSTRACT

Event-based cameras measure intensity changes (called `events') with microsecond accuracy under high-speed motion and challenging lighting conditions. With the `active pixel sensor' (APS), the `Dynamic and Active-pixel Vision Sensor' (DAVIS) allows the simultaneous output of intensity frames and events. However, the output images are captured at a relatively low frame rate and often suffer from motion blur. A blurred image can be regarded as the integral of a sequence of latent images, while events indicate changes between the latent images. Thus, we are able to model the blur-generation process by associating event data to a latent sharp image. Based on the abundant event data alongside a low frame rate, easily blurred images, we propose a simple yet effective approach to reconstruct high-quality and high frame rate sharp videos. Starting with a single blurred frame and its event data from DAVIS, we propose the Event-based Double Integral (EDI) model and solve it by adding regularization terms. Then, we extend it to multiple Event-based Double Integral (mEDI) model to get more smooth results based on multiple images and their events. Furthermore, we provide a new and more efficient solver to minimize the proposed energy model. By optimizing the energy function, we achieve significant improvements in removing blur and the reconstruction of a high temporal resolution video. The video generation is based on solving a simple non-convex optimization problem in a single scalar variable. Experimental results on both synthetic and real datasets demonstrate the superiority of our mEDI model and optimization method compared to the state-of-the-art.

研究动机与目标

• 解决 DAVIS 相机强度图像中帧率低和运动模糊的局限性，同时利用高速事件数据。
• 克服现有仅事件或仅图像重建方法在静态或缓慢移动场景中无法保持纹理与一致性的缺陷。
• 构建统一框架，通过连接事件数据与潜在清晰帧，建模模糊生成过程。
• 从单个模糊帧及其关联事件中实现高时间分辨率视频重建，优于以往忽略模糊的图像+事件融合方法。

提出的方法

• 提出基于事件的双积分（EDI）模型，将运动模糊表示为潜在清晰图像的积分，事件数据指示其间的强度变化。
• 通过引入多个模糊帧及其对应事件流，将 EDI 扩展为 mEDI 模型，以提升时间一致性和平滑度。
• 构建一个非凸优化问题，最小化包含数据保真项与正则化项的能量函数，实现高质量重建。
• 提出一种新型高效求解器，仅在单个标量变量上操作，显著提升计算效率，优于以往方法。
• 采用基于斐波那契数列的采样策略，选择多个曝光区间，在不增加计算成本的前提下提升时间分辨率。
• 应用 HDR 增强技术，提升高动态范围场景下的视觉质量，保留精细纹理与色彩保真度。

实验结果

研究问题

• RQ1 能否有效融合事件数据与单个模糊帧，以重建高帧率、清晰的视频，同时保持纹理与运动一致性？
• RQ2 如何利用事件数据将模糊生成过程建模为潜在清晰帧的积分？
• RQ3 与单帧方法相比，引入多个模糊帧及其事件是否能实现更平滑、更准确的高帧率视频重建？
• RQ4 所提出的 mEDI 模型是否能在去模糊与时间分辨率方面超越当前最先进方法（包括仅事件与图像+事件融合方法）？
• RQ5 与现有类似能量模型的求解器相比，所提出的优化方法在效率与重建质量方面表现如何？

主要发现

• 在合成数据集上，mEDI 模型在 PSNR 上达到最高分，SSIM 得分具有竞争力，显著优于采用去模糊后重建的基线方法。
• 在真实世界数据集（包括低光照与文字场景）上，所提方法在视觉质量上表现更优，纹理细节更丰富，运动一致性更佳，优于当前最先进仅事件方法。
• 即使在背景静态或事件稀疏的场景中，该方法仍能有效重建高帧率视频，而仅事件方法往往无法保持纹理信息。
• 所提出的优化求解器通过将问题简化为单个标量变量，实现了高效计算，使该方法适用于实时应用。
• mEDI 模型对极端光照变化与事件噪声具有鲁棒性，尽管在突然的光照变化或极低事件数量下性能略有下降。
• 视觉对比显示，重建视频保持了高保真度，时间一致性更优，伪影更少，优于 E2VID、Scheerlinck 等人及其他事件基重建方法。