[論文レビュー] Efficient and Effective Time-Series Forecasting with Spiking Neural Networks

Changze Lv, Yansen Wang+4 more|arXiv (Cornell University)|Feb 2, 2024

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

本稿では、イベント駆動計算とスパイク符号化を活用することで、従来の人工ニューラルネットワーク（ANNs）と同等またはそれ以上の性能を達成すると同時に、エネルギー消費を最大75.05%まで削減できる、スパイキングニューラルネットワーク（SNNs）を用いた効率的で高精度な時系列予測の統合フレームワークを提案する。この手法により、生物学的に妥当で低消費電力な順序データの時系列モデリングが可能となる。

ABSTRACT

Spiking neural networks (SNNs), inspired by the spiking behavior of biological neurons, provide a unique pathway for capturing the intricacies of temporal data. However, applying SNNs to time-series forecasting is challenging due to difficulties in effective temporal alignment, complexities in encoding processes, and the absence of standardized guidelines for model selection. In this paper, we propose a framework for SNNs in time-series forecasting tasks, leveraging the efficiency of spiking neurons in processing temporal information. Through a series of experiments, we demonstrate that our proposed SNN-based approaches achieve comparable or superior results to traditional time-series forecasting methods on diverse benchmarks with much less energy consumption. Furthermore, we conduct detailed analysis experiments to assess the SNN's capacity to capture temporal dependencies within time-series data, offering valuable insights into its nuanced strengths and effectiveness in modeling the intricate dynamics of temporal data. Our study contributes to the expanding field of SNNs and offers a promising alternative for time-series forecasting tasks, presenting a pathway for the development of more biologically inspired and temporally aware forecasting models. Our code is available at https://github.com/microsoft/SeqSNN.

研究の動機と目的

• 時系列予測におけるスパイキングニューラルネットワーク（SNNs）の潜在的利点がまだ十分に探求されていないこと、特にSNNsのイベント駆動特性が連続的な順序データと整合性を欠いていることに対処すること。
• SNNの時系列データへの応用を阻害する時系列アライメントおよびスパイク符号化の課題を克服すること。
• データ符号化とモデルアーキテクチャ選定を含む、SNNを用いた時系列予測のための標準化され、効果的なフレームワークの開発。
• SNNが推論におけるエネルギー消費を著しく削減しながら、ANNと同等またはそれ以上の予測精度を達成できることを示すこと。

提案手法

• 時系列データ符号化、SNNモデルの適応、エネルギー効率の良い推論を統合した統合フレームワークを提案し、予測タスクに適用する。
• 連続的な時系列値を生物学的に妥当なスパイクトレインに変換する2種類の異なる符号化レイヤーを設計し、時間的ダイナミクスを保持する。
• 浮動小数点演算を一切使用せずに、3つの主要なディープラーニングアーキテクチャ（TCN、RNN、Transformer）をそれぞれSNN版（Spike-TCN、Spike-RNN、iSpikformer）に変換する。
• 理論的エネルギー消費を推定するために、神経形状ハードウェアモデル（45nm）を用い、SNNとそのANN同等物との比較を実施する。
• SNNニューロンモデルにβパラメータを導入し、膜電位の減衰を制御することで、時間的記憶の持続性を制御可能にする。
• 合成および実世界のベンチマークを用いた広範なアブレーションおよび分析を実施し、時間的依存関係のモデリングおよび耐性の評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 SNNは、標準的な時系列ベンチマークにおいて、ANNと同等またはそれ以上の予測性能を発揮しながら、著しく低いエネルギー消費で推論を実現できるか？
• RQ2 Spike-TCN、Spike-RNN、iSpikformerといった異なるSNNアーキテクチャは、時系列データの長期間および短期間の時間的依存関係をどの程度適切に捉えられるか？
• RQ3 スパイク符号化戦略およびモデルハイパーパrameter（例：β）の影響は、予測精度およびエネルギー効率にどのような影響を与えるか？
• RQ4 SNNは、低周波数および高周波数の合成信号の両方において、複雑な時間的ダイナミクスをどの程度正確にモデリングできるか？

主な発見

• SNNベースのモデルは、Electricity、Metr-La、Solar、ETThの4つの多様な時系列ベンチマークにおいて、ANNと同等またはそれ以上のR²性能を達成した。
• 提案されたSNNモデルは、ANNと比較して平均で70.33%のエネルギー消費削減を達成した。特にSpike-GRUは、最大75.05%のエネルギー削減を示した。
• Spike-TCNは、高周波数信号のピーク値予測において、Spike-RNNおよびiSpikformerに比べてわずかに低い精度を示しており、アーキテクチャが信号周波数に敏感であることが示された。
• SNNフレームワークは、低周波数および高周波数の合成信号の両方における時間的依存関係を効果的に捉えており、信号ダイナミクスにわたる耐性を示した。
• βパラメータを増加させることで、長期記憶の保持が向上し、Metr-LaやSolarのような長距離依存性を持つデータセットでの性能が向上した。
• SNNのエネルギー効率は、主にスパarsなスパイク活動と、特にSpike-GRUのような平均発火レートが低いモデルにおける計算演算の削減に起因している。