[论文解读] Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera

Liyuan Pan, Cedric Scheerlinck+4 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Memory and Neural Computing参考文献 31被引用 11

一句话总结

本文提出事件驱动双积分（EDI）模型，通过单张模糊强度帧和事件相机对应的事件数据，重建高帧率、清晰的视频。通过将模糊建模为潜在清晰帧的积分，并利用事件估计运动，该方法求解单变量非凸优化问题，在真实与合成动态场景中，实现比原始APS输出帧率最高200倍的帧率提升，同时保持更优的清晰度与时间一致性。

ABSTRACT

Event-based cameras can measure intensity changes (called `{\it events}') with microsecond accuracy under high-speed motion and challenging lighting conditions. With the active pixel sensor (APS), the event camera allows simultaneous output of the intensity frames. However, the output images are captured at a relatively low frame-rate and often suffer from motion blur. A blurry image can be regarded as the integral of a sequence of latent images, while the events indicate the changes between the latent images. Therefore, we are able to model the blur-generation process by associating event data to a latent image. In this paper, we propose a simple and effective approach, the extbf{Event-based Double Integral (EDI)} model, to reconstruct a high frame-rate, sharp video from a single blurry frame and its event data. The video generation is based on solving a simple non-convex optimization problem in a single scalar variable. Experimental results on both synthetic and real images demonstrate the superiority of our EDI model and optimization method in comparison to the state-of-the-art.

研究动机与目标

• 为解决事件相机捕捉的低帧率强度图像中的运动模糊问题，尽管事件数据具有高时间分辨率，但运动模糊仍限制视频质量。
• 利用事件数据与模糊强度帧之间的互补信息，重建高帧率、清晰的视频。
• 将模糊生成过程建模为潜在清晰帧的积分，实现运动感知的视频重建。
• 开发一种高效优化方法，利用事件数据恢复时间一致性与细节，且无需视频训练数据。

提出的方法

• EDI模型将模糊帧表述为潜在清晰帧的双重积分，其中事件表示这些帧之间强度变化的导数。
• 该方法将模糊过程建模为清晰帧在时间上的累积，事件编码了变化速率。
• 将视频重建表述为单标量变量的非凸优化问题，最小化数据保真项，使重建帧与模糊图像及事件流对齐。
• 通过基于梯度的方法高效求解优化问题，实现在标准硬件上的实时重建。
• 该方法联合利用低帧率强度图像与高时间分辨率事件数据，恢复清晰度与时间动态特性。
• 该方法无需深度学习或视频监督，而是依赖于对模糊与事件生成的物理建模。

实验结果

研究问题

• RQ1 能否联合使用事件数据与单张模糊帧，在无需视频训练数据或先验运动模型的前提下，重建出高帧率、清晰的视频？
• RQ2 如何利用基于事件的运动线索有效逆转低帧率强度图像中的模糊退化？
• RQ3 何种最优公式能以物理解释的方式建模模糊帧、事件流与潜在清晰帧之间的关系？
• RQ4 简单的单变量优化方法是否能在去模糊与视频重建中超越复杂的深度学习或多阶段方法？

主要发现

• 所提出的EDI方法在合成与真实数据集上均达到最先进的去模糊与视频重建方法中最高的PSNR与SSIM。
• 在合成数据集上，该方法显著优于基线方法，PSNR提升最高达2.5 dB，SSIM提升超过0.1。
• 在定性比较中，重建视频比仅依赖事件或仅依赖模糊帧的方法更清晰，纹理与运动细节更一致。
• 该方法成功将视频帧率提升至原始APS帧率的200倍，展示了在高速运动下的可扩展性。
• 在低光照与复杂动态条件下，重建结果具有鲁棒性，能保持精细细节与时间一致性。
• 该方法实现实时性能，单个i7核心约1.5秒处理一帧，适用于实际部署。