[论文解读] A Comprehensive Review of Spiking Neural Networks: Interpretation, Optimization, Efficiency, and Best Practices

Kai Malcolm, Josue Casco-Rodriguez|arXiv (Cornell University)|Mar 19, 2023

Advanced Memory and Neural Computing被引用 10

一句话总结

tldr: 为研究人员聚焦解释、优化（包括代理梯度）、效率、基准数据集以及最佳实践，综合近来在脉冲神经网络（SNNs）方面的最新进展的文献综述。

ABSTRACT

Biological neural networks continue to inspire breakthroughs in neural network performance. And yet, one key area of neural computation that has been under-appreciated and under-investigated is biologically plausible, energy-efficient spiking neural networks, whose potential is especially attractive for low-power, mobile, or otherwise hardware-constrained settings. We present a literature review of recent developments in the interpretation, optimization, efficiency, and accuracy of spiking neural networks. Key contributions include identification, discussion, and comparison of cutting-edge methods in spiking neural network optimization, energy-efficiency, and evaluation, starting from first principles so as to be accessible to new practitioners.

研究动机与目标

• 从第一性原理出发，调查SNN优化和生物可证明性的最新发展。
• 比较训练SNN的方法，包括代理梯度和不可微的脉冲动力学。
• 评估能源效率机制及对类人脑计算硬件的影响。
• 确定标准基准数据集和可用的工具/框架，以统一SNN研究。
• 为新研究者进入SNN研究提供见解与最佳实践。

提出的方法

• 对近来SNN优化与效率技术的元分析。
• 对编码方案（速率编码与 TTFS/潜伏期编码）的讨论与比较及取舍。
• 将SNN动态与二次优化形式及凸优化概念相推导与联系。
• 训练方法概览：时序反向传播(BPTT)、代理梯度，以及替代方法（STDP、事件驱动优化、OTTT、IDE）。
• 能源效率机制的考察，包括稀疏性、事件驱动计算以及对神经形态硬件的影响。
• 汇编基准数据集并调查在SNN开发中使用的工具/框架。

Figure 1: An illustration by Barnett & Larkman ( 2007 ) showing the different phases of depolarization and polarization as they relate to action potentials and voltage-gated ion channels.

实验结果

研究问题

• RQ1 SNNs 的主导优化与训练策略有哪些，各自如何比较？
• RQ2 编码方案和脉冲动力学如何影响准确性、效率和硬件适用性？
• RQ3 相对ANNs，SNNs 在能源效率与鲁棒性方面有哪些证据，在哪些条件下能实现提升？
• RQ4 用于评估SNNs的基准数据集和工具在哪些最常用，如何改进标准化？
• RQ5 对新入门SNN研究者，在解释、实现和评估方面涌现出哪些最佳实践？

主要发现

• SNNs 可以通过与凸/二次优化以及动力系统的联系来进行解释和分析。
• 代理梯度方法对于训练SNNs至关重要，并且在不同选择下都有稳健表现。
• 潜伏期编码（TTFS）在许多数据集上往往比速率编码在能效和准确性的权衡上更优。
• 与传统ANN相比，SNNs 的能源效率提升可达到三个数量级，特别是在稀疏、事件驱动处理和神经形态硬件上。
• 已提出若干高级训练方案（Dspike, IM-Loss, ESG）以改善收敛性和信息保持。
• 需要标准化的基准和工具，这篇综述工作已经识别并汇编。

Figure 2: Plotted measurements of (b) an observed spike train and (c) an isolated action potential by Wattanapanitch et al. ( 2007 ) .