[论文解读] A Graph is Worth 1-bit Spikes: When Graph Contrastive Learning Meets Spiking Neural Networks

Jintang Li, Huizhe Zhang+6 more|arXiv (Cornell University)|May 30, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出SpikeGCL，一种图对比学习框架，利用脉冲神经网络（SNNs）学习图的紧凑1比特二值表示，在将内存使用量减少约32倍、能耗降低至多约7000倍的同时，实现与全精度模型相当的性能。该方法采用分块训练策略以缓解梯度消失问题，并实现在资源受限设备上的高效、生物可解释的推理。

ABSTRACT

While contrastive self-supervised learning has become the de-facto learning paradigm for graph neural networks, the pursuit of higher task accuracy requires a larger hidden dimensionality to learn informative and discriminative full-precision representations, raising concerns about computation, memory footprint, and energy consumption burden (largely overlooked) for real-world applications. This work explores a promising direction for graph contrastive learning (GCL) with spiking neural networks (SNNs), which leverage sparse and binary characteristics to learn more biologically plausible and compact representations. We propose SpikeGCL, a novel GCL framework to learn binarized 1-bit representations for graphs, making balanced trade-offs between efficiency and performance. We provide theoretical guarantees to demonstrate that SpikeGCL has comparable expressiveness with its full-precision counterparts. Experimental results demonstrate that, with nearly 32x representation storage compression, SpikeGCL is either comparable to or outperforms many fancy state-of-the-art supervised and self-supervised methods across several graph benchmarks.

研究动机与目标

• 解决大规模和边缘部署应用中全精度图对比学习（GCL）日益增长的计算、内存和能耗成本。
• 探索脉冲神经网络（SNNs）在图对比学习中的潜力，以实现稀疏、二值化且能效高效的表示。
• 开发一个理论基础扎实的框架，在使用1比特脉冲表示的同时保持模型的表达能力。
• 通过一种新颖的分块训练范式，克服深度SNN中梯度消失的挑战。
• 证明二值化SNN-based GCL可在多种图基准上达到或超越当前最先进性能。

提出的方法

• 提出SpikeGCL，一种GCL框架，用SNN生成的1比特二值脉冲替代全精度节点表示。
• 采用对比学习目标，比较同一图的正样本和负样本视图，其中视图通过数据增强生成。
• 实施分块训练策略，仅在单个块内进行反向传播，以稳定深度SNN的训练。
• 采用IF、LIF和PLIF等脉冲神经元，其中后者支持可学习的漏电项，提升生物可解释性和性能。
• 引入阈值参数$V_{\text{th}}$以控制脉冲活动和输出稀疏度，实现信息保留与效率之间的权衡。
• 使用固定时间窗口$T$的时序编码，将连续激活转换为脉冲序列，使SNN能够处理图数据。

实验结果

研究问题

• RQ1 能否有效结合脉冲神经网络与图对比学习，以生成紧凑的二值表示？
• RQ2 SNN中的1比特脉冲表示是否具备足够的表达能力以支持图表示学习？
• RQ3 在端到端训练图任务时，如何缓解深度SNN中的梯度消失问题？
• RQ4 超参数如$V_{\text{th}}$、$T$以及GNN架构对性能和稀疏度的影响如何？
• RQ5 SpikeGCL在大幅降低内存和能耗的同时，能在多大程度上实现与全精度GCL模型相当的性能？

主要发现

• SpikeGCL在六个基准数据集上达到最先进或具有竞争力的性能，包括CS（92.8%准确率）和Physics（95.2%准确率），且仅使用1比特表示。
• 与全精度模型相比，该框架将内存使用量减少约32倍，能耗降低至多7000倍。
• 采用分块训练策略显著提升了深度SNN的训练稳定性和性能，有效缓解了梯度消失问题。
• PLIF神经元因具有可学习的漏电项，表现优于IF和LIF，提升了稀疏度和表示质量。
• 在Computers和Photo等密集数据集上，性能对$V_{\text{th}}$敏感，最优阈值需在稀疏度与信息保留之间取得平衡。
• GNN编码器的选择影响性能，其中GCN在所有数据集上表现最佳，但GAT和SAGE等其他架构也具备可行性。