[论文解读] EventMix: An Efficient Augmentation Strategy for Event-Based Data

Guobin Shen, Dongcheng Zhao+1 more|arXiv (Cornell University)|May 24, 2022

Advanced Memory and Neural Computing被引用 9

一句话总结

本文提出 EventMix，一种针对事件数据的高效数据增强策略，通过使用高斯混合模型生成随机3D掩码，实现事件流在时空维度上的任意混合。该方法引入了一种基于相对距离和事件数量的新型标签权重分配机制，在人工神经网络（ANNs）和脉冲神经网络（SNNs）的神经形态数据集上显著提升性能，在 DVS-CIFAR10、N-Caltech101、N-CARS 和 DVS-Gesture 数据集上达到当前最优结果。

ABSTRACT

High-quality and challenging event stream datasets play an important role in the design of an efficient event-driven mechanism that mimics the brain. Although event cameras can provide high dynamic range and low-energy event stream data, the scale is smaller and more difficult to obtain than traditional frame-based data, which restricts the development of neuromorphic computing. Data augmentation can improve the quantity and quality of the original data by processing more representations from the original data. This paper proposes an efficient data augmentation strategy for event stream data: EventMix. We carefully design the mixing of different event streams by Gaussian Mixture Model to generate random 3D masks and achieve arbitrary shape mixing of event streams in the spatio-temporal dimension. By computing the relative distances of event streams, we propose a more reasonable way to assign labels to the mixed samples. The experimental results on multiple neuromorphic datasets have shown that our strategy can improve its performance on neuromorphic datasets both for ANNs and SNNs, and we have achieved state-of-the-art performance on DVS-CIFAR10, N-Caltech101, N-CARS, and DVS-Gesture datasets.

研究动机与目标

• 为解决小规模、稀疏事件流数据集带来的模型泛化能力差与训练不稳定性问题，推动神经形态计算的发展。
• 开发一种针对事件流数据时空动态特性与稀疏性的数据增强策略，克服现有基于图像增强方法的局限性。
• 通过更有效的数据混合与标签分配方式，提升事件数据集上人工神经网络（ANNs）与脉冲神经网络（SNNs）的模型性能。
• 实现高效且多样的数据混合模式，增强模型泛化能力，同时避免依赖 CutMix 等方法中固定的形状掩码。

提出的方法

• EventMix 通过高斯混合模型生成随机3D掩码，实现事件流在空间与时间维度上的灵活、任意形状混合。
• 该方法提出一种时空掩码生成过程，充分尊重事件数据的动态特性，避免使用单调的矩形或方形掩码。
• 提出两种标签权重分配策略：一种基于原始样本与混合样本之间的相对距离，另一种基于混合区域内的事件数量。
• 通过综合考虑混合样本中不同区域事件的贡献，实现更准确、合理的标签混合策略。
• 该方法兼容人工神经网络（ANNs）与脉冲神经网络（SNNs），并采用 ResNet34-ANN 等标准架构在多个基准神经形态数据集上进行评估。
• 该方法设计高效且可扩展，计算开销极低，同时最大化数据多样性与模型鲁棒性。

实验结果

研究问题

• RQ1 基于高斯混合模型的3D掩码生成策略是否能提升事件流数据增强中的数据混合多样性与模型泛化能力？
• RQ2 基于相对距离的标签分配方式与基于事件数量的分配方式相比，在样本混合过程中对语义准确性的保持效果如何？
• RQ3 与现有增强基线方法（如 MixUp 和 CutMix）相比，EventMix 在小规模神经形态数据集上的性能提升程度如何？
• RQ4 EventMix 在不同模型类型（包括 ANNs 与 SNNs）上是否在多样化的事件基准数据集上均保持一致的性能增益？
• RQ5 在低数据量场景下，EventMix 的有效性如何，特别是在仅使用少量训练数据时？

主要发现

• 在 DVS-CIFAR10 数据集上，使用 ResNet34-ANN 时，EventMix 相较基线数据增强方法实现了 3.01% 的准确率提升，达到最佳组件组合效果。
• 在相同训练条件下，EventMix 在 DVS-CIFAR10 上相比 CutMix 提升了 2.45% 的性能。
• 在 N-Caltech101 数据集上，EventMix 相较 CutMix 实现了 2.36% 的性能增益，表明其在不同数据集上均具有一致的提升效果。
• 在 DVS-Gesture 数据集上，EventMix 相较 CutMix 实现了 4.69% 的性能提升，凸显其在高度稀疏数据上的有效性。
• 仅使用 N-Caltech101 训练集的 10% 时，EventMix 达到 54.06% 的验证准确率，较形态学数据增强方法提升 7.28%。
• EventMix 在 DVS-CIFAR10、N-Caltech101、N-CARS 和 DVS-Gesture 数据集上，对 ANNs 与 SNNs 均达到当前最优性能，充分证明其广泛有效性。