[论文解读] Efficient and Effective Time-Series Forecasting with Spiking Neural Networks

Changze Lv, Yansen Wang+4 more|arXiv (Cornell University)|Feb 2, 2024

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出了一种统一框架，利用脉冲神经网络（SNNs）实现高效且精确的时间序列预测，通过事件驱动计算和脉冲编码，实现与传统人工神经网络（ANNs）相当或更优的性能，同时将能耗降低高达75.05%。该方法实现了生物上合理的低功耗序列数据建模。

ABSTRACT

Spiking neural networks (SNNs), inspired by the spiking behavior of biological neurons, provide a unique pathway for capturing the intricacies of temporal data. However, applying SNNs to time-series forecasting is challenging due to difficulties in effective temporal alignment, complexities in encoding processes, and the absence of standardized guidelines for model selection. In this paper, we propose a framework for SNNs in time-series forecasting tasks, leveraging the efficiency of spiking neurons in processing temporal information. Through a series of experiments, we demonstrate that our proposed SNN-based approaches achieve comparable or superior results to traditional time-series forecasting methods on diverse benchmarks with much less energy consumption. Furthermore, we conduct detailed analysis experiments to assess the SNN's capacity to capture temporal dependencies within time-series data, offering valuable insights into its nuanced strengths and effectiveness in modeling the intricate dynamics of temporal data. Our study contributes to the expanding field of SNNs and offers a promising alternative for time-series forecasting tasks, presenting a pathway for the development of more biologically inspired and temporally aware forecasting models. Our code is available at https://github.com/microsoft/SeqSNN.

研究动机与目标

• 解决脉冲神经网络（SNNs）在时间序列预测中潜力未被充分探索的问题，其中SNNs的事件驱动特性与连续序列数据的匹配度较差。
• 克服时间对齐和脉冲编码方面的挑战，这些挑战阻碍了SNN在时间序列数据中的应用。
• 开发一种标准化且高效的SNN时间序列预测框架，包括数据编码和模型架构选择。
• 证明SNN能够匹配或超越ANN的预测准确性，同时在推理过程中显著降低能耗。

提出的方法

• 提出一个统一框架，整合时间序列数据编码、SNN模型适配和节能推理，用于预测任务。
• 设计两种不同的编码层，将连续时间序列值转换为生物上合理的脉冲序列，以保留时间动态特性。
• 将三种核心深度学习架构——TCN、RNN和Transformer——转化为其SNN等效形式（Spike-TCN、Spike-RNN、iSpikformer），且无需浮点运算。
• 采用神经形态硬件模型（45nm）估算理论能耗，将SNN与对应的ANN进行比较。
• 在SNN神经元模型中引入一个beta参数，以控制膜电位衰减，从而实现对时间记忆持久性的控制。
• 在合成数据和真实世界基准上进行广泛的消融实验与分析，以评估时间依赖建模能力和鲁棒性。

实验结果

研究问题

• RQ1 SNN是否能在标准时间序列基准上实现与ANN相当或更优的预测性能，同时显著降低能耗？
• RQ2 不同SNN架构（Spike-TCN、Spike-RNN、iSpikformer）在捕捉时间序列数据中的长期和短期时间依赖关系方面表现如何？
• RQ3 脉冲编码策略和模型超参数（如beta）对预测准确率和能效有何影响？
• RQ4 SNN在低频和高频合成信号中，能在多大程度上建模复杂的时间动态？

主要发现

• 基于SNN的模型在四个多样化的时间序列基准（包括Electricity、Metr-La、Solar和ETTh）上实现了与对应ANN模型相当或更优的R²性能。
• 与ANN相比，所提出的SNN模型平均能耗降低了70.33%，其中Spike-GRU的能耗降低最高达75.05%。
• 在预测高频信号的峰值时，Spike-TCN的准确性略低于Spike-RNN和iSpikformer，表明其对信号频率的架构敏感性。
• SNN框架成功捕捉了低频和高频合成信号中的时间依赖关系，展示了在不同信号动态下的鲁棒性。
• 提高beta参数可增强长期记忆保持能力，从而提升在具有长程依赖关系的数据集（如Metr-La和Solar）上的性能。
• SNN的能效主要由稀疏脉冲活动和计算操作的减少驱动，尤其在Spike-GRU等平均放电率较低的模型中表现显著。