[论文解读] Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy

Federico Paredes-Vallés, Guido de Croon|arXiv (Cornell University)|Sep 17, 2020

Advanced Memory and Neural Computing参考文献 37被引用 15

一句话总结

本论文提出了一种自监督学习框架，通过利用光度恒定性和估计的光流，从事件相机数据中重建亮度帧，无需依赖真实标签或合成训练数据。该方法在真实事件数据上实现了最先进的重建质量，其性能与监督方法相当，同时引入了一种轻量级光流网络 FireFlowNet，实现了高速推理。

ABSTRACT

Event cameras are novel vision sensors that sample, in an asynchronous fashion, brightness increments with low latency and high temporal resolution. The resulting streams of events are of high value by themselves, especially for high speed motion estimation. However, a growing body of work has also focused on the reconstruction of intensity frames from the events, as this allows bridging the gap with the existing literature on appearance- and frame-based computer vision. Recent work has mostly approached this problem using neural networks trained with synthetic, ground-truth data. In this work we approach, for the first time, the intensity reconstruction problem from a self-supervised learning perspective. Our method, which leverages the knowledge of the inner workings of event cameras, combines estimated optical flow and the event-based photometric constancy to train neural networks without the need for any ground-truth or synthetic data. Results across multiple datasets show that the performance of the proposed self-supervised approach is in line with the state-of-the-art. Additionally, we propose a novel, lightweight neural network for optical flow estimation that achieves high speed inference with only a minor drop in performance.

研究动机与目标

• 为解决现有图像重建方法对合成数据或真实标签数据的依赖，提出一种自监督学习框架。
• 利用事件相机的物理原理，特别是光度恒定性，直接在真实事件数据上训练神经网络。
• 开发一种专为事件视觉设计的轻量级、高速推理光流神经网络。
• 在多个真实世界数据集上通过定量和定性评估验证自监督框架的有效性。

提出的方法

• 该框架使用两个神经网络：用于光流估计的 FlowNet 和用于图像重建的 ReconNet，两者均以自监督方式训练。
• FlowNet 通过对比度最大化代理损失进行训练，以在无真实标签监督的情况下提高光流估计的准确性。
• ReconNet 通过强制执行基于事件的光度恒定性约束来重建亮度帧，该约束关联了事件间光流与亮度变化。
• 该方法通过在两个网络间反向传播误差，联合优化光流和重建过程，仅依赖事件与光流的一致性。
• 提出一种新颖的轻量级架构 FireFlowNet，用于高速光流估计，其灵感来自 FireNet，但专为事件数据优化。
• 训练过程使用真实事件流，不包含任何合成数据或真实亮度帧，完全依赖光度恒定性原理。

实验结果

研究问题

• RQ1 能否在不使用任何真实标签或合成数据的情况下，通过自监督学习实现事件相机的图像重建？
• RQ2 基于光度恒定性的自监督方法与最先进的监督方法相比表现如何？
• RQ3 能否设计一种轻量级神经网络用于光流估计，在保持事件数据上准确性的前提下实现高速推理？
• RQ4 在真实场景中，自监督重建框架的主要失效模式是什么？

主要发现

• 所提出的自监督方法在无任何真实标签或合成数据训练的情况下，实现了与最先进监督方法相当的重建质量。
• 在多个数据集上的定量指标（MSE、SSIM、LPIPS）显示，ReconNet 变体的表现与 E2VID 和 FireNet 相当，但因缺乏感知优化，感知相似性（LPIPS）存在明显差距。
• 当光流估计不理想时，重建图像中会出现运动模糊，表明去模糊效果依赖于光流估计的准确性。
• 在大面积纹理缺失区域，由于边缘信息外推能力有限，会出现鬼影伪影，这是事件基重建中的已知挑战。
• 当初始亮度 $L_0$ 未知时，会出现不一致的重建结果，凸显了缺乏先验亮度信息的局限性。
• FireFlowNet 实现了高速推理，性能仅比大型网络略有下降，证明了其在不牺牲准确性的前提下具备高效性。