[论文解读] Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities and Differences

Weihua He, Yujie Wu+7 more|arXiv (Cornell University)|May 2, 2020

Advanced Memory and Neural Computing参考文献 53被引用 15

一句话总结

本文在神经形态视觉数据集上，采用统一的训练协议（包括时间反向传播BPTT、受脉冲编码启发的损失函数以及共享的网络架构），系统比较了脉冲神经网络（SNNs）与循环神经网络（RNNs）的表现。主要发现是：SNNs在稀疏、低时间分辨率数据上表现更优；而RNNs——尤其是采用改进损失函数的LSTM——在密集、高分辨率数据上可达到或略超SNNs的表现，凸显了在鲁棒性、参数效率与长期记忆能力之间的权衡。

ABSTRACT

Neuromorphic data, recording frameless spike events, have attracted considerable attention for the spatiotemporal information components and the event-driven processing fashion. Spiking neural networks (SNNs) represent a family of event-driven models with spatiotemporal dynamics for neuromorphic computing, which are widely benchmarked on neuromorphic data. Interestingly, researchers in the machine learning community can argue that recurrent (artificial) neural networks (RNNs) also have the capability to extract spatiotemporal features although they are not event-driven. Thus, the question of "what will happen if we benchmark these two kinds of models together on neuromorphic data" comes out but remains unclear. In this work, we make a systematic study to compare SNNs and RNNs on neuromorphic data, taking the vision datasets as a case study. First, we identify the similarities and differences between SNNs and RNNs (including the vanilla RNNs and LSTM) from the modeling and learning perspectives. To improve comparability and fairness, we unify the supervised learning algorithm based on backpropagation through time (BPTT), the loss function exploiting the outputs at all timesteps, the network structure with stacked fully-connected or convolutional layers, and the hyper-parameters during training. Especially, given the mainstream loss function used in RNNs, we modify it inspired by the rate coding scheme to approach that of SNNs. Furthermore, we tune the temporal resolution of datasets to test model robustness and generalization. At last, a series of contrast experiments are conducted on two types of neuromorphic datasets: DVS-converted (N-MNIST) and DVS-captured (DVS Gesture).

研究动机与目标

• 在公平且可比的训练条件下，对SNNs与RNNs在神经形态视觉数据集上的性能差距进行研究。
• 识别SNNs与RNNs在建模与学习动态方面的内在相似性与差异性，尤其关注时空特征提取与记忆机制方面。
• 通过调节神经形态数据集的时间分辨率，评估模型的鲁棒性与泛化能力，模拟真实世界中事件密度的可变性。
• 通过比较识别准确率、计算复杂度、参数量与泛化能力，指导神经形态工作负载中的模型选择。
• 探索通过借鉴SNNs（如膜电位动态）与RNNs（如门控记忆）的架构思想，构建更高效、更准确的混合神经网络模型的可能性。

提出的方法

• 标准化训练协议：对SNNs与RNNs均采用统一的时间反向传播（BPTT），确保公平比较。
• 对标准RNN损失函数进行修改，使其与SNN脉冲编码原则对齐，从而实现可比的学习目标。
• 采用相同的网络架构（全连接或卷积层堆叠），并在所有模型间共享超参数（如初始学习率、批量大小）。
• 调节神经形态数据集（N-MNIST与DVS Gesture）的时间分辨率，以评估模型在不同稀疏度与事件密度下的鲁棒性与泛化能力。
• 在两个不同的神经形态数据集上开展受控实验：N-MNIST（由静态图像转换为DVS格式）与DVS Gesture（由真实运动采集的DVS数据）。
• 从识别准确率、特征提取质量、时间对比敏感度、计算复杂度与参数效率等方面评估模型表现。

实验结果

研究问题

• RQ1 在相同训练条件下，SNNs与RNNs在神经形态视觉数据集上的识别准确率如何比较？
• RQ2 受脉冲编码启发的损失函数在多大程度上提升了RNN在神经形态数据上的表现，特别是与标准RNN损失相比？
• RQ3 时间分辨率如何影响SNNs与RNNs在神经形态数据集上的泛化能力与鲁棒性？
• RQ4 导致SNNs与RNNs在处理时空事件数据时性能差异的关键架构与学习差异是什么？
• RQ5 能否将SNNs（如膜电位动态）与RNNs（如门控记忆）的洞见相结合，设计出更高效、更准确的混合模型？

主要发现

• 在N-MNIST与DVS Gesture数据集上，SNNs在所有时间分辨率下均持续优于普通RNNs，尤其在低时间分辨率下表现更优。
• 采用受脉冲编码启发的损失函数后，LSTM性能显著提升，在高时间分辨率数据上达到与SNNs相当或略高的准确率。
• 在N-MNIST（DVS格式转换自静态图像）上，SNNs与RNNs的准确率差距较小；但在DVS Gesture（真实运动采集的DVS数据）上，SNNs与LSTM显著优于普通RNNs，原因在于其更高的时间对比度与更长的长期依赖关系。
• 在音频数据测试中，SNNs在不同仿真时间步长下表现出更强的泛化能力，在T=75时仍保持98.14%的准确率，而普通RNNs在T=15时下降至46.14%。
• SNNs中的自连接神经元机制与受限权重共享显著减少了参数数量与FLOPs，从而在参数效率与泛化能力方面优于RNNs。
• 模型间的性能差距在DVS Gesture数据集上最为显著，该数据集具有较高的时间对比度，表明长期记忆与时间动态在处理此类数据时至关重要。