[논문 리뷰] Efficient and Effective Time-Series Forecasting with Spiking Neural Networks

Changze Lv, Yansen Wang외 4명|arXiv (Cornell University)|2024. 02. 02.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

이 논문은 사건 기반 계산과 스파이크 인코딩을 활용하여 효율적이고 정확한 시계열 예측을 위한 통합 프레임워크를 제안한다. 이는 전통적인 인공신경망(ANNs)과 비슷하거나 뛰어난 성능을 달성하면서도 에너지 소비를 최대 75.05%까지 줄이는 데 성공한다. 이 방법은 생물학적으로 타당하고 저전력의 순차적 데이터 시간 모델링을 가능하게 한다.

ABSTRACT

Spiking neural networks (SNNs), inspired by the spiking behavior of biological neurons, provide a unique pathway for capturing the intricacies of temporal data. However, applying SNNs to time-series forecasting is challenging due to difficulties in effective temporal alignment, complexities in encoding processes, and the absence of standardized guidelines for model selection. In this paper, we propose a framework for SNNs in time-series forecasting tasks, leveraging the efficiency of spiking neurons in processing temporal information. Through a series of experiments, we demonstrate that our proposed SNN-based approaches achieve comparable or superior results to traditional time-series forecasting methods on diverse benchmarks with much less energy consumption. Furthermore, we conduct detailed analysis experiments to assess the SNN's capacity to capture temporal dependencies within time-series data, offering valuable insights into its nuanced strengths and effectiveness in modeling the intricate dynamics of temporal data. Our study contributes to the expanding field of SNNs and offers a promising alternative for time-series forecasting tasks, presenting a pathway for the development of more biologically inspired and temporally aware forecasting models. Our code is available at https://github.com/microsoft/SeqSNN.

연구 동기 및 목표

• 시계열 예측 분야에서 아직 탐색이 부족한 스파iking 신경망(SNNs)의 잠재력을 해결하기 위해, SNN의 사건 기반 특성이 연속적인 순차적 데이터와 잘 맞지 않는 문제를 다루기 위함이다.
• SNN이 시계열 데이터에 적용되는 데 걸림돌이 되는 시간 정렬 및 스파이크 인코딩 문제를 해결하기 위함이다.
• SNN 기반 시계열 예측를 위한 표준화되고 효과적인 프레임워크를 개발하기 위함이다. 이는 데이터 인코딩 및 모델 아키텍처 선택을 포함한다.
• SNN이 추론 과정에서 에너지 소비를 크게 줄이면서도 ANN의 예측 정확도를 따라하거나 능가할 수 있음을 입증하기 위함이다.

제안 방법

• 시계열 데이터 인코딩, SNN 모델 적응, 그리고 에너지 효율적인 추론을 통합한 통합 프레임워크를 제안한다.
• 연속적인 시계열 값을 생물학적으로 타당한 스파이크 트레인으로 변환하기 위해 두 가지 다른 인코딩 레이어를 설계하여 시간 동적 특성을 유지한다.
• 플로ating 포인트 연산 없이도 TCN, RNN, Transformer의 세 가지 핵심 딥러닝 아키텍처를 SNN 등가체(Spike-TCN, Spike-RNN, iSpikformer)로 변환한다.
• 이론적 에너지 소비를 추정하기 위해 뉴로모픽 하드웨어 모델(45nm)을 사용하여 SNN과 ANN의 성능을 비교한다.
• SNN 뉴런 모델에 베타 파라미터를 도입하여 막막 잠재력 감쇠를 제어함으로써 시간 기억 지속성에 영향을 줄 수 있도록 한다.
• 합성 및 실세계 벤치마크에서 광범위한 아블레이션 및 분석을 수행하여 시간 의존성 모델링 능력과 내성적 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 SNN은 표준 시계열 벤치마크에서 ANN과 비슷하거나 뛰어난 예측 성능을 달성하면서도 상당히 낮은 에너지 소비를 이룰 수 있는가?
• RQ2 Spike-TCN, Spike-RNN, iSpikformer와 같은 다양한 SNN 아키텍처는 시계열 데이터의 장기 및 단기 시간 의존성을 얼마나 잘 포착하는가?
• RQ3 스파이크 인코딩 전략 및 모델 하이퍼파라미터(예: 베타)는 예측 정확도와 에너지 효율성에 어떤 영향을 미치는가?
• RQ4 SNN은 저주파수 및 고주파수 합성 신호 모두에서 복잡한 시간 동적 특성을 얼마나 잘 모델링할 수 있는가?

주요 결과

• SNN 기반 모델은 Electricity, Metr-La, Solar, ETTh 등 네 가지 다양한 시계열 벤치마크에서 ANN과 비교해 유사하거나 뛰어난 R² 성능을 달성한다.
• 제안된 SNN 모델은 ANN 대비 평균 70.33%의 에너지 소비 감소를 이룩했으며, Spike-GRU는 최대 75.05%의 에너지 절감을 기록했다.
• 고주파 신호의 피크 값을 예측할 때 Spike-TCN는 Spike-RNN 및 iSpikformer보다 약간 낮은 정확도를 보이며 아키텍처에 따른 주파수 민감도를 나타낸다.
• SNN 프레임워크는 저주파수 및 고주파수 합성 신호 모두에서 시간 의존성을 성공적으로 포착하여 다양한 신호 동적 특성에 대한 강건성을 입증한다.
• 베타 파라미터를 증가시키면 장기 기억 유지가 향상되어 Metr-La 및 Solar와 같은 장거리 의존성 데이터셋에서 성능 향상을 이룬다.
• SNN의 에너지 효율성은 주로 희소한 스파이크 활동과 감소된 계산 연산에 기인하며, 특히 평균 발화 빈도가 낮은 Spike-GRU와 같은 모델에서 두드러진다.