[论文解读] Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks

Zheng Xu, Yexin Liu+6 more|arXiv (Cornell University)|Feb 17, 2023

Advanced Memory and Neural Computing被引用 39

一句话总结

本综述提供了基于事件的视觉深度学习方法的全面分类法，对重建和场景理解等关键DL方法进行了基准比较，并讨论了挑战与未来方向，同时提供一个开源代码仓库。

ABSTRACT

Event cameras are bio-inspired sensors that capture the per-pixel intensity changes asynchronously and produce event streams encoding the time, pixel position, and polarity (sign) of the intensity changes. Event cameras possess a myriad of advantages over canonical frame-based cameras, such as high temporal resolution, high dynamic range, low latency, etc. Being capable of capturing information in challenging visual conditions, event cameras have the potential to overcome the limitations of frame-based cameras in the computer vision and robotics community. In very recent years, deep learning (DL) has been brought to this emerging field and inspired active research endeavors in mining its potential. However, there is still a lack of taxonomies in DL techniques for event-based vision. We first scrutinize the typical event representations with quality enhancement methods as they play a pivotal role as inputs to the DL models. We then provide a comprehensive survey of existing DL-based methods by structurally grouping them into two major categories: 1) image/video reconstruction and restoration; 2) event-based scene understanding and 3D vision. We conduct benchmark experiments for the existing methods in some representative research directions, i.e., image reconstruction, deblurring, and object recognition, to identify some critical insights and problems. Finally, we have discussions regarding the challenges and provide new perspectives for inspiring more research studies.

研究动机与目标

• 提供对事件表示及DL输入质量提升的全面概述。
• 将DL方法分为图像重建/恢复与场景理解/3D视觉两大类。
• 对具有代表性的DL方法进行基准测试，以发现性能洞察与不足。
• 讨论挑战与未来方向，以指导基于事件的DL未来研究。

提出的方法

• 将事件表示分为六类（基于图像、基于表面、基于学习、基于体素、基于图、基于尖峰）并分析其任务适用性。
• 回顾针对嘈杂、低分辨率事件数据的质量提升技术（去噪和超分辨率）。
• 综述基于DL的图像/视频重建和事件引导的SR/VSR方法，并在MSE、SSIM、LPIPS及延迟指标下比较性能。
• 总结面向事件的场景理解任务（分类、检测、跟踪、分割、深度）的DL管线。
• 提供一个开源分类法并通过公开仓库的代码链接保持更新。

实验结果

研究问题

• RQ1 事件数据应该如何表示或转换为DNN友好输入？
• RQ2 相较基于优化的方法，深度学习在从事件中学习方面带来哪些优势？
• RQ3 对于有效的基于事件的视觉，是否需要非常深的神经网络建模？
• RQ4 DL方法如何在事件相机的低延迟、高节奏特性与模型复杂度之间取得平衡？
• RQ5 卷积操作是否对过滤事件是必需的，还是其他架构更为合适？

主要发现

• 提供面向DL的基于事件的视觉表示与质量提升方法的全面分类法。
• 总结基于DL的图像/视频重建以及事件引导的SR/VSR方法，突出优点与局限。
• 总结基于DL的事件数据场景理解与3D视觉方法。
• 基准实验（例如对象识别、重建）揭示实际洞见与仍存的挑战。
• 引入含分类法与代码链接的开源仓库，以支持持续的研究工作。