[论文解读] Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference

Boyan Li, Luziwei Leng+5 more|arXiv (Cornell University)|Jun 21, 2023

Advanced Memory and Neural ComputingEngineering参考文献 75被引用 3

一句话总结

该论文提出了一种无需乘法运算的深层脉冲多层感知机（SNN-MLP）架构，通过脉冲块编码与MFI兼容的批量归一化，将全局感受野与局部特征提取相结合。该方法在ImageNet-1K上实现了66.39%的top-1准确率，较脉冲ResNet-34高出2.67%，同时显著降低了计算量、参数量和仿真步数。

ABSTRACT

Advancements in adapting deep convolution architectures for Spiking Neural Networks (SNNs) have significantly enhanced image classification performance and reduced computational burdens. However, the inability of Multiplication-Free Inference (MFI) to align with attention and transformer mechanisms, which are critical to superior performance on high-resolution vision tasks, imposing limitations on these gains. To address this, our research explores a new pathway, drawing inspiration from the progress made in Multi-Layer Perceptrons (MLPs). We propose an innovative spiking MLP architecture that uses batch normalization to retain MFI compatibility and introducing a spiking patch encoding layer to enhance local feature extraction capabilities. As a result, we establish an efficient multi-stage spiking MLP network that blends effectively global receptive fields with local feature extraction for comprehensive spike-based computation. Without relying on pre-training or sophisticated SNN training techniques, our network secures a top-1 accuracy of 66.39% on the ImageNet-1K dataset, surpassing the directly trained spiking ResNet-34 by 2.67%. Furthermore, we curtail computational costs, model parameters, and simulation steps. An expanded version of our network compares with the performance of the spiking VGG-16 network with a 71.64% top-1 accuracy, all while operating with a model capacity 2.1 times smaller. Our findings highlight the potential of our deep SNN architecture in effectively integrating global and local learning abilities. Interestingly, the trained receptive field in our network mirrors the activity patterns of cortical cells. Source codes are publicly accessible at https://github.com/EMI-Group/mixer-snn.

研究动机与目标

• 为解决注意力机制与Transformer结构在脉冲神经网络（SNNs）中与无乘法推理（MFI）不兼容的问题。
• 设计一种基于多层感知机（MLPs）的深层SNN架构，在保持MFI兼容性的同时实现有效的全局与局部特征学习。
• 通过基于有向无环图结构的脉冲块编码层，增强SNN中的局部特征提取能力。
• 在不依赖预训练或复杂训练技术的前提下，实现基于SNN的图像分类任务最先进性能。

提出的方法

• 将MLP-Mixer模块中的标准归一化替换为批量归一化（BN），以确保与无乘法推理（MFI）的兼容性。
• 引入基于有向无环图（DAG）的脉冲块编码模块，以增强初始层中的局部空间特征提取能力。
• 在令牌混合模块中采用轻量级轴向采样，以降低计算成本，同时保留全局感受野能力。
• 通过跳跃连接与MFI友好型组件构建多阶段脉冲MLP网络，实现全脉冲计算。
• 采用基于脉冲的训练协议，结合替代梯度反向传播，在ImageNet-1K上端到端训练网络。
• 使用45nm CMOS技术估算能耗，设定每次加法为0.9pJ，每次MAC操作为4.6pJ。

实验结果

研究问题

• RQ1 能否设计一种完全兼容无乘法推理（MFI）的深层脉冲MLP架构，同时在图像分类任务中保持高性能？
• RQ2 在不违反MFI约束的前提下，如何有效增强脉冲MLP中的局部特征提取能力？
• RQ3 具备全局与局部学习能力的脉冲MLP在ImageNet-1K上相较于现有脉冲卷积网络（如ResNet-34）能提升多少性能？
• RQ4 所提出的SNN中学习到的感受野是否与生物皮层感受野（如“离心型中心-周围抑制”模式）相似？
• RQ5 能否将基于脉冲的MLP作为轻量化、高能效组件集成到基于注意力的模型中？

主要发现

• 所提出的脉冲MLP-SPE-T在ImageNet-1K上达到66.39%的top-1准确率，较直接训练的脉冲ResNet-34高出2.67%。
• 与脉冲ResNet-34相比，该模型计算成本几乎减半，仅需11.8亿次加法与1200万次乘法。
• 能耗估算为1.12 mJ，显著低于SparseMLP（13.75 mJ）与SpikFormer（11.58 mJ），尽管模型容量相近。
• 早期层中学习到的感受野呈现“M”形权重核，与皮层神经元的“离心型中心-周围抑制”结构相似。
• 网络的扩展版本在ImageNet-1K上达到71.64%的top-1准确率，模型容量仅为脉冲VGG-16的2.1倍。
• 实验表明，MFI兼容的批量归一化使深度脉冲MLP的有效训练成为可能，无需依赖预训练或复杂的SNN专用技术。