[论文解读] Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning

Mingkun Xu, Yujie Wu+4 more|arXiv (Cornell University)|Jun 30, 2021

Advanced Memory and Neural Computing参考文献 17被引用 4

一句话总结

本文提出了一种通用的基于脉冲的框架——Graph SNNs，通过时空展开和一种新颖的时空特征归一化（STFN）技术，将图卷积与注意力机制整合到脉冲动力学中。该方法实现了在图结构数据上对脉冲神经网络的直接训练，在节点分类基准测试中达到最先进性能，计算成本相比传统GNNs降低高达53.61倍，展现出在神经形态硬件上的强大效率与收敛性。

ABSTRACT

Biological spiking neurons with intrinsic dynamics underlie the powerful representation and learning capabilities of the brain for processing multimodal information in complex environments. Despite recent tremendous progress in spiking neural networks (SNNs) for handling Euclidean-space tasks, it still remains challenging to exploit SNNs in processing non-Euclidean-space data represented by graph data, mainly due to the lack of effective modeling framework and useful training techniques. Here we present a general spike-based modeling framework that enables the direct training of SNNs for graph learning. Through spatial-temporal unfolding for spiking data flows of node features, we incorporate graph convolution filters into spiking dynamics and formalize a synergistic learning paradigm. Considering the unique features of spike representation and spiking dynamics, we propose a spatial-temporal feature normalization (STFN) technique suitable for SNN to accelerate convergence. We instantiate our methods into two spiking graph models, including graph convolution SNNs and graph attention SNNs, and validate their performance on three node-classification benchmarks, including Cora, Citeseer, and Pubmed. Our model can achieve comparable performance with the state-of-the-art graph neural network (GNN) models with much lower computation costs, demonstrating great benefits for the execution on neuromorphic hardware and prompting neuromorphic applications in graphical scenarios.

研究动机与目标

• 开发一种通用的、可训练的基于脉冲的框架，用于处理使用脉冲神经网络的非欧几里得图结构数据。
• 解决由于复杂的脉冲动力学和缺乏有效归一化技术，导致在图上训练SNN的挑战。
• 通过设计一种专为脉冲动力学和图拓扑定制的归一化方法，加速收敛并提升图SNN的性能。
• 证明SNN在图学习任务中的可行性与效率，特别是在低功耗神经形态计算应用中的优势。

提出的方法

• 通过时间与空间维度展开二值节点特征，以支持脉冲动力学中的迭代消息传递。
• 通过统一的、迭代的消息传递机制，将图卷积和注意力滤波器整合到脉冲动力学中。
• 提出一种时空特征归一化（STFN）技术，对膜电位在特征和时间维度上进行归一化，以稳定训练过程。
• 采用两层解码机制，将脉冲活动转换为最终预测结果，利用事件驱动计算。
• 采用二值脉冲通信以降低计算成本，用加法替代密集乘法运算。
• 设计该框架以可迁移至多种图传播操作，包括GCN和GAT变体。

实验结果

研究问题

• RQ1 能否通过统一框架，将图卷积与脉冲动力学结合，有效训练基于脉冲神经网络的图结构数据？
• RQ2 如何将归一化技术适配到脉冲动力学和图拓扑的独特约束中，以改善训练收敛性？
• RQ3 SNN在图任务中能否实现与最先进GNN相当的性能，同时保持极低的计算与能耗成本？
• RQ4 时间窗口长度在半监督学习场景中对图SNN的性能与效率有何影响？

主要发现

• 所提出的Graph SNNs在Cora、Citeseer和PubMed基准测试中，节点分类准确率与最先进GNNs（GCN、GAT）相当，仅存在微小性能差距。
• STFN技术显著加速了训练收敛并减少了过拟合，Citeseer数据集上的损失下降更快，测试准确率曲线更稳定。
• 即使时间窗口短至5个步骤，模型仍保持强劲性能，表明其对长时间积分的依赖性较低，有利于高效学习。
• 在深层架构中，与GNN相比，模型在操作成本上实现了高达53.61倍的压缩比，主要得益于稀疏脉冲计算与二值通信。
• 神经元放电率保持在较低水平（平均≤20%，多数<10%），证实了脉冲表示的高稀疏性与高能效。
• 该框架展现出强大的可迁移性，成功应用于图卷积SNNs（GC-SNN）与图注意力SNNs（GA-SNN），验证了其通用性。