[论文解读] LIAF-Net: Leaky Integrate and Analog Fire Network for Lightweight and Efficient Spatiotemporal Information Processing

Zhenzhi Wu, Hehui Zhang+4 more|arXiv (Cornell University)|Nov 12, 2020

Advanced Neural Network Applications参考文献 65被引用 98

一句话总结

该论文提出LIAF-Net，一种新型脉冲神经网络，采用漏斗积分与模拟放电（LIAF）神经元模型，以模拟值而非二进制脉冲传输信息，保留了LIF模型的时间动力学特性，同时实现了与人工神经网络（ANN）层的高效融合。LIAF-Net在DVS128 Gesture及其他时空数据集上实现了最先进性能，其计算与参数开销显著低于LSTM、GRU和ConvLSTM网络。

ABSTRACT

Spiking neural networks (SNNs) based on Leaky Integrate and Fire (LIF) model have been applied to energy-efficient temporal and spatiotemporal processing tasks. Thanks to the bio-plausible neuronal dynamics and simplicity, LIF-SNN benefits from event-driven processing, however, usually faces the embarrassment of reduced performance. This may because in LIF-SNN the neurons transmit information via spikes. To address this issue, in this work, we propose a Leaky Integrate and Analog Fire (LIAF) neuron model, so that analog values can be transmitted among neurons, and a deep network termed as LIAF-Net is built on it for efficient spatiotemporal processing. In the temporal domain, LIAF follows the traditional LIF dynamics to maintain its temporal processing capability. In the spatial domain, LIAF is able to integrate spatial information through convolutional integration or fully-connected integration. As a spatiotemporal layer, LIAF can also be used with traditional artificial neural network (ANN) layers jointly. Experiment results indicate that LIAF-Net achieves comparable performance to Gated Recurrent Unit (GRU) and Long short-term memory (LSTM) on bAbI Question Answering (QA) tasks, and achieves state-of-the-art performance on spatiotemporal Dynamic Vision Sensor (DVS) datasets, including MNIST-DVS, CIFAR10-DVS and DVS128 Gesture, with much less number of synaptic weights and computational overhead compared with traditional networks built by LSTM, GRU, Convolutional LSTM (ConvLSTM) or 3D convolution (Conv3D). Compared with traditional LIF-SNN, LIAF-Net also shows dramatic accuracy gain on all these experiments. In conclusion, LIAF-Net provides a framework combining the advantages of both ANNs and SNNs for lightweight and efficient spatiotemporal information processing.

研究动机与目标

• 解决传统基于LIF的脉冲神经网络（SNN）因二进制脉冲传输导致的性能下降问题。
• 通过用模拟激活替代二进制脉冲，实现SNN与人工神经网络（ANN）之间的无缝集成。
• 在保持生物合理的时间处理动力学的同时，提升信息传输的保真度。
• 相比循环网络与3D卷积网络，在时空学习任务中降低计算与存储开销。

提出的方法

• 提出漏斗积分与模拟放电（LIAF）神经元模型，保留LIF的时间动力学特性，但使用模拟值表示神经元激活。
• 实现神经元间模拟激活的传输，相比LIF-SNN中的二进制脉冲，显著提升信息保真度。
• 通过兼容的激活格式，支持与标准ANN层（如ReLU、批归一化、残差连接）的联合训练。
• 通过卷积层或全连接层实现空间处理，支持与TensorFlow等标准深度学习框架端到端联合训练。
• 采用基于时间步的动力学机制，每个神经元的膜电位根据漏斗积分-放电机制演化，并输出模拟信号。
• 采用时间反向传播，利用可微分的模拟输出，实现对深层时空架构的有效训练。

实验结果

研究问题

• RQ1 模拟激活传输是否能在不牺牲时间处理能力的前提下提升脉冲神经网络的性能？
• RQ2 LIAF-Net是否能在保持极低计算与内存开销的前提下，于时空任务中实现与LSTM和GRU相当甚至更高的准确率？
• RQ3 LIAF与标准ANN组件（如归一化层、跳跃连接）的集成对训练稳定性和性能有何影响？
• RQ4 LIAF-Net在动态视觉传感器（DVS）数据集上相比现有SNN与混合网络，性能提升程度如何？
• RQ5 鉴于皮层神经元中存在模拟动作电位的实证证据，LIAF模型是否具有生物学合理性？

主要发现

• 在DVS128 Gesture数据集上，LIAF-Net达到97.56%的测试准确率，较次优方法（Bi et al., 2019）高出2.24个百分点。
• 在相同数据集上，LIAF-Net相比基于ConvLSTM的网络，计算开销降低91.6%，参数存储量减少90.0%。
• 在bAbI QA数据集上，LIAF-Net的性能与GRU和LSTM网络相当，但使用的突触权重更少，计算量显著更低。
• LIAF-Net在MNIST-DVS、CIFAR10-DVS和DVS128 Gesture数据集上均达到最先进性能，超越传统LIF-SNN及基于脉冲通信的SNN。
• 实验证明LIAF模型具有生物学合理性，人类皮层锥体神经元中存在模拟动作电位的证据支持其可行性。
• LIAF-Net支持与标准深度学习框架直接联合训练，无需进行脉冲编码格式转换，可直接应用现代训练技术。