[论文解读] Events-To-Video: Bringing Modern Computer Vision to Event Cameras

Henri Rebecq, René Ranftl+2 more|Zurich Open Repository and Archive (University of Zurich)|Apr 17, 2019

Advanced Memory and Neural Computing参考文献 54被引用 7

一句话总结

本文提出一种循环神经网络，用于从异步事件流重建高质量的自然视频，从而可直接应用现成的计算机视觉算法。该方法通过利用感知损失并在模拟数据上进行训练，在目标分类和视觉-惯性里程计任务中优于最先进的事件专用算法，证明了成熟的计算机视觉技术可通过视频重建有效迁移至事件相机。

ABSTRACT

Event cameras are novel sensors that report brightness changes in the form of asynchronous "events" instead of intensity frames. They have significant advantages over conventional cameras: high temporal resolution, high dynamic range, and no motion blur. Since the output of event cameras is fundamentally different from conventional cameras, it is commonly accepted that they require the development of specialized algorithms to accommodate the particular nature of events. In this work, we take a different view and propose to apply existing, mature computer vision techniques to videos reconstructed from event data. We propose a novel recurrent network to reconstruct videos from a stream of events, and train it on a large amount of simulated event data. Our experiments show that our approach surpasses state-of-the-art reconstruction methods by a large margin (> 20%) in terms of image quality. We further apply off-the-shelf computer vision algorithms to videos reconstructed from event data on tasks such as object classification and visual-inertial odometry, and show that this strategy consistently outperforms algorithms that were specifically designed for event data. We believe that our approach opens the door to bringing the outstanding properties of event cameras to an entirely new range of tasks. A video of the experiments is available at https://youtu.be/IdYrC4cUO0I

研究动机与目标

• 通过从事件流重建自然外观的视频，弥合传统计算机视觉与事件相机数据之间的差距。
• 使原本为传统图像设计的现有预训练计算机视觉模型能够应用于事件相机数据。
• 通过在模拟事件数据上学习并结合感知监督，实现超越最先进方法的视频重建质量。
• 在真实世界任务（如目标分类和视觉-惯性里程计）上验证该方法，结果优于事件专用算法。

提出的方法

• 提出一种新颖的循环神经网络架构，用于从连续的异步事件流重建视频帧。
• 在大规模合成事件序列数据集上进行训练，该数据集由真实视频帧生成，模拟了真实的运动与亮度变化。
• 采用基于中层特征（例如预训练的VGG网络）的感知损失，以确保重建图像与自然图像的统计特性一致。
• 事件窗口以时间片段形式处理，最终重建的帧用作下游任务的输入。
• 重建流程采用事件的时空编码，随后通过循环处理模块建模时间依赖性。
• 尽管仅在模拟数据上进行训练，该方法在多个基准测试中均表现出对真实事件数据的良好泛化能力。

实验结果

研究问题

• RQ1 从事件流中重建高质量自然视频是否能实现成熟、现成的计算机视觉模型在事件数据上的直接应用？
• RQ2 在模拟事件数据上学习视频重建是否能有效泛化到真实世界事件序列？
• RQ3 通过感知损失进行视频重建，是否能在下游视觉任务中表现优于专门设计的事件处理算法？
• RQ4 将标准计算机视觉模型应用于重建的事件视频时，其在目标分类和视觉-惯性里程计任务上的性能，与最先进的事件专用方法相比如何？
• RQ5 与传统重建损失相比，基于感知动机的损失在多大程度上提升了重建质量与下游任务性能？

主要发现

• 所提出的事件到视频重建方法在基准数据集上的图像质量度量指标中，超越最先进重建技术超过20%。
• 重建视频使现成的深度学习模型（如ResNet18、简单CNN）在目标分类任务上的表现优于专为事件数据设计的算法。
• 在N-Caltech101数据集上，使用微调后的ResNet18在重建图像上实现了94.7%的测试准确率，优于专用事件模型。
• 在视觉-惯性里程计任务中，该方法在长轨迹上实现了低于UltimateSLAM (E+I) 和 UltimateSLAM (E+F+I) 的平均平移与旋转误差。
• 该方法在从模拟训练数据到真实事件序列的泛化能力方面表现出色，M-NNIST和N-CARS等真实世界数据集上的重建质量优异。
• 感知损失显著提升了重建结果的视觉合理性与与自然图像的统计相似性，从而更有利于下游任务的迁移。