[论文解读] EventDrop: data augmentation for event-based learning

Fuqiang Gu, Weicong Sng+2 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Memory and Neural Computing参考文献 28被引用 4

一句话总结

本文提出 EventDrop，一种简单且计算高效的事件学习数据增强方法，通过三种策略（随机、时间基于、区域基于）丢弃事件，以提升模型泛化能力。该方法在 N-Caltech101 和 N-Cars 数据集上显著提升了多种深度神经网络的分类准确率，使用 ResNet-34 在 EST 表示下最高达到 95.5% 的准确率。

ABSTRACT

The advantages of event-sensing over conventional sensors (e.g., higher dynamic range, lower time latency, and lower power consumption) have spurred research into machine learning for event data. Unsurprisingly, deep learning has emerged as a competitive methodology for learning with event sensors; in typical setups, discrete and asynchronous events are first converted into frame-like tensors on which standard deep networks can be applied. However, over-fitting remains a challenge, particularly since event datasets remain small relative to conventional datasets (e.g., ImageNet). In this paper, we introduce EventDrop, a new method for augmenting asynchronous event data to improve the generalization of deep models. By dropping events selected with various strategies, we are able to increase the diversity of training data (e.g., to simulate various levels of occlusion). From a practical perspective, EventDrop is simple to implement and computationally low-cost. Experiments on two event datasets (N-Caltech101 and N-Cars) demonstrate that EventDrop can significantly improve the generalization performance across a variety of deep networks.

研究动机与目标

• 为解决由于小规模数据集导致的事件学习深度神经网络过拟合问题。
• 通过在不增加数据采集成本的前提下提升训练数据的多样性，改善模型泛化能力。
• 开发一种轻量级、输入空间的数据增强方法，专门针对异步事件数据设计。
• 评估不同事件丢弃策略在不同事件表示和网络架构下的有效性。

提出的方法

• EventDrop 提出三种事件丢弃策略：随机丢弃、按时间丢弃和按区域丢弃，每种策略均旨在模拟遮挡或传感器噪声。
• 在训练过程中，每种策略以固定概率（0.5）执行事件丢弃，且丢弃程度从预定义集合中随机采样。
• 该方法直接作用于输入事件数据，在馈入深度神经网络之前进行处理，因此兼容 DNN 和 SNN。
• EventDrop 以相等概率组合三种策略，实现在每个训练样本上的动态增强。
• 该方法计算效率高，无需额外可学习参数，易于集成到现有训练流程中。
• 采用多种事件表示形式——事件帧、事件计数、体素网格和 EST——以评估该方法在常见输入格式下的鲁棒性。

实验结果

研究问题

• RQ1 以结构化方式丢弃事件是否能提升事件学习深度神经网络的泛化能力？
• RQ2 不同事件丢弃策略（随机、时间基于、区域基于）在各种事件表示下的模型性能有何影响？
• RQ3 EventDrop 在真实世界和模拟事件数据集上的准确率和鲁棒性方面，是否优于标准基线和现有增强技术？
• RQ4 与基线方法相比，训练数据量的多少如何影响 EventDrop 的有效性？

主要发现

• 在 N-Cars 数据集上，使用 ResNet-34 和 EST 表示，EventDrop 达到 95.50% 的测试准确率，显著优于基线的 91.03%。
• 在 N-Caltech101 数据集上，EventDrop 使用 EST 表示达到 85.15% 的准确率，而基线为 83.91%。
• 该方法在所有测试的事件表示和网络架构（包括 ResNet-34 和 VGG-16）中均一致提升性能。
• 即使仅使用 10% 的训练数据，EventDrop 在 N-Cars 上仍达到约 94% 的准确率，而基线约为 91.5%，表明其对数据稀缺具有强鲁棒性。
• 在真实世界 N-Cars 数据集上，按区域丢弃和 EventDrop 策略表现出最强的性能提升，表明其在处理传感器噪声和遮挡方面具有有效性。
• 性能增益在使用 EST 表示时最为显著，表明 EventDrop 尤其适用于高保真度事件表示。