[论文解读] A New Look at Spike-Timing-Dependent Plasticity Networks for Spatio-Temporal Feature Learning

Ali Safa, Ilja Ocket+4 more|Lirias (KU Leuven)|Nov 1, 2021

Advanced Memory and Neural Computing被引用 7

一句话总结

本文提出了一套理论基础坚实的无监督脉冲神经网络（SNN）框架，结合了脉冲时间依赖可塑性（STDP），能够从事件相机数据中高效学习时空特征。通过将STDP动力学与联合字典学习及LASSO基追踪相联系，该方法消除了经验性超参数调优，实现了在N-MNIST（+9.3%）、CIFAR10-DVS（+8.2%）和IBM DVS128 Gesture（+7.74%）数据集上的最先进准确率，同时支持超低功耗边缘推理。

ABSTRACT

We present new theoretical foundations for unsupervised Spike-Timing-Dependent Plasticity (STDP) learning in spiking neural networks (SNNs). In contrast to empirical parameter search used in most previous works, we provide novel theoretical grounds for SNN and STDP parameter tuning which considerably reduces design time. Using our generic framework, we propose a class of global, action-based and convolutional SNN-STDP architectures for learning spatio-temporal features from event-based cameras. We assess our methods on the N-MNIST, the CIFAR10-DVS and the IBM DVS128 Gesture datasets, all acquired with a real-world event camera. Using our framework, we report significant improvements in classification accuracy compared to both conventional state-of-the-art event-based feature descriptors (+8.2% on CIFAR10-DVS), and compared to state-of-the-art STDP-based systems (+9.3% on N-MNIST, +7.74% on IBM DVS128 Gesture). Our work contributes to both ultra-low-power learning in neuromorphic edge devices, and towards a biologically-plausible, optimization-based theory of cortical vision.

研究动机与目标

• 为设计高性能SNN-STDP网络用于事件视觉，解决缺乏系统性、自上而下的理论指导的问题。
• 通过推导STDP参数、神经元阈值、时间常数及学习终止条件的理论指导，消除STDP基SNN中耗时的经验性超参数调优。
• 开发一种通用的、卷积的、基于动作的SNN-STDP架构，可直接从真实世界事件相机数据中学习时空特征。
• 在标准基准上展示其性能与最先进的事件描述符及SNN-STDP系统具有竞争力。
• 提供功耗估算，验证该框架适用于超低功耗类脑边缘设备的适用性。

提出的方法

• 该框架将SNN-STDP学习建模为联合字典学习与LASSO编码的基追踪问题，将STDP动力学与优化目标相联系。
• 通过理论推导，建立了STDP近似稀疏编码（via LASSO）的条件，实现参数的系统性调优。
• 该方法引入了一种基于赤池信息准则（Akaike）的追踪算法，用于估计稀疏性参数μ，从而指导网络初始化与学习终止。
• 该架构采用全局的、基于动作的、卷积的SNN设计，STDP学习应用于DVS相机的事件流。
• 网络参数（如STDP窗口形状、神经元阈值、时间常数）通过解析推导获得，而非经验调优。
• 功耗估算基于μBrain SNN芯片的硬件指标，建模了动态脉冲能量、静态漏电及SRAM访问成本。

Figure 1: Illustrative example of DVS camera data. In this conceptual illustration, the DVS is capturing the number ”0”. a) The camera continuously outputs a stream of events in both space and time. b) When the magnitude change $|\Delta L_{ij}|$ in light log-intensity $L_{ij}$ impinging the pixel $(

实验结果

研究问题

• RQ1 SNN中的STDP能否在理论上与稀疏编码（via LASSO）等明确定义的优化目标相联系？
• RQ2 理论推导能否消除SNN-STDP网络中经验性超参数调优的需求？
• RQ3 卷积的、基于动作的SNN-STDP架构能否在事件视觉的时空识别任务中达到最先进性能？
• RQ4 所提出的框架能否实现适用于边缘类脑设备的超低功耗学习与推理？
• RQ5 所提出的SNN-STDP系统性能与传统事件描述符及先前SNN-STDP方法相比如何？

主要发现

• 与先前的SNN-STDP系统相比，该框架在N-MNIST数据集上实现了9.3%的准确率提升，显著优于现有方法。
• 在CIFAR10-DVS数据集上，该方法相比传统最先进事件特征描述符，分类准确率提升了8.2%。
• 在IBM DVS128 Gesture数据集上，系统相比最先进STDP基方法实现了7.74%的性能提升，展现出在动作识别任务中的强大性能。
• 理论框架实现了对STDP参数、神经元阈值及时间常数的解析调优，减少了对耗时经验搜索的依赖。
• 功耗估算显示，该系统在N-MNIST数据集上STDP训练期间功耗为5 mW，推理期间为1 mW，与最先进SNN-STDP电路相当，但准确率更高。
• 该框架通过将STDP与稀疏编码及字典学习相联系，为皮层视觉提供了生物可解释的、基于优化的理论支持。

Figure 2: Conceptual illustration of the LIF neuron and STDP learning . a) The LIF neuron is connected to a pre-synaptic spiking input $s_{in}$ . When the membrane potential $V$ crosses the threshold $\mu$ , the neuron emits a spike $\sigma=1$ and $V$ is reset to zero. b) The weight $W_{ij}$ is modi