[论文解读] How to Train Your Event Camera Neural Network

Timo Stoffregen, Cedric Scheerlinck+5 more|arXiv (Cornell University)|Mar 20, 2020

Advanced Memory and Neural Computing参考文献 22被引用 5

一句话总结

本文提出了一种新型的数据增强与训练策略，用于事件神经网络，显著提升了视频重建和光流任务的性能。通过引入一个新的高质量帧（HQF）数据集和优化的训练协议，该方法在视频重建任务中实现了20–40%的性能提升，在光流网络中实现了高达15%的性能增益，优于当前最先进的基线模型。

ABSTRACT

Event cameras are paradigm-shifting novel sensors that report asynchronous, per-pixel brightness changes called 'events' with unparalleled low latency. This makes them ideal for high speed, high dynamic range scenes where conventional cameras would fail. Recent work has demonstrated impressive results using Convolutional Neural Networks (CNNs) for video reconstruction and optic flow with events. We present strategies for improving training data for event based CNNs that result in 20-40% boost in performance of existing state-of-the-art (SOTA) video reconstruction networks retrained with our method, and up to 15% for optic flow networks. A challenge in evaluating event based video reconstruction is lack of quality ground truth images in existing datasets. To address this, we present a new High Quality Frames (HQF) dataset, containing events and ground truth frames from a DAVIS240C that are well-exposed and minimally motion-blurred. We evaluate our method on HQF + several existing major event camera datasets.

研究动机与目标

• 为解决现有事件相机数据集中缺乏高质量真实帧的问题，从而限制了视频重建模型的可靠评估。
• 提升事件神经网络（CNN）的训练数据质量与多样性，以增强模型的泛化能力与性能。
• 开发一个新的基准数据集HQF，其包含与DAVIS240C传感器事件同步的、曝光良好、运动模糊最小的高质量真实帧。
• 通过所提出的训练方法，在多个事件基任务中实现一致的性能提升，特别是在视频重建和光流任务中。

提出的方法

• 作者引入了一个新数据集——高质量帧（HQF），用于捕捉来自DAVIS240C事件相机的同步事件与高质量、曝光良好、运动模糊最小的帧。
• 他们提出了一种数据增强策略，以提升训练数据的多样性与质量，从而增强模型的鲁棒性与收敛性。
• 该方法复用了现有的最先进（SOTA）视频重建与光流架构，通过HQF数据和所提出的训练协议进行微调。
• 训练协议包括针对事件数据特征（如稀疏、异步事件流）优化的数据采样与损失函数。
• 该方法通过将事件脉冲串与真实帧对齐，利用事件数据的时间精度，提升训练过程中的监督效果。
• 该方法在HQF和多个现有事件相机基准数据集上进行了评估，确保在不同场景动态下的泛化能力。

实验结果

研究问题

• RQ1 提升训练数据的质量与多样性是否能显著提升事件基视频重建网络的性能？
• RQ2 包含高质量、曝光良好的真实帧是否会影响事件基CNN的训练与推理？
• RQ3 所提出的训练策略在不同事件基任务（如视频重建与光流）中的泛化能力如何？
• RQ4 与现有数据集相比，新的HQF数据集是否能为事件基视频重建模型提供可靠的评估基准？

主要发现

• 在HQF数据集上微调后，所提出的训练策略使视频重建网络的性能提升了20–40%。
• 对于光流网络，该方法相比最先进模型实现了高达15%的性能增益。
• HQF数据集提供了高质量、运动模糊最小的真实帧，使得重建模型的评估更加准确。
• 性能增益在多个事件相机数据集上保持一致，证明了所提方法的泛化能力。
• 结果表明，数据质量与训练协议是实现事件基深度学习最先进性能的关键因素。