[논문 리뷰] Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs

Gourav Datta, Haoqin Deng외 2명|arXiv (Cornell University)|2022. 10. 23.

Advanced Memory and Neural Computing인용 수 10

한 줄 요약

이 논문은 스파iking LSTM에 대한 새로운 ANN-to-SNN 변환 프레임워크를 제안하여 고정밀도, 저지연, 에너지 효율적인 추론을 가능하게 한다. 잘라내기 활성화 함수를 도입하고, IF/LIF 변환을 편향 이동으로 최적화하며, 파이ipel라인 병렬 처리를 적용함으로써, 이전 연구 대비 4×에서 105.7×까지 지연을 감소시키고, 2.8×에서 13.2×까지 에너지 소비를 절감하면서도 음성 및 센서 데이터셋에서 정확도 손실가 <0.3% 이하로 유지한다.

ABSTRACT

Spiking Neural Networks (SNNs) have emerged as an attractive spatio-temporal computing paradigm for complex vision tasks. However, most existing works yield models that require many time steps and do not leverage the inherent temporal dynamics of spiking neural networks, even for sequential tasks. Motivated by this observation, we propose an ev{optimized spiking long short-term memory networks (LSTM) training framework that involves a novel ANN-to-SNN conversion framework, followed by SNN training}. In particular, we propose novel activation functions in the source LSTM architecture and judiciously select a subset of them for conversion to integrate-and-fire (IF) activations with optimal bias shifts. Additionally, we derive the leaky-integrate-and-fire (LIF) activation functions converted from their non-spiking LSTM counterparts which justifies the need to jointly optimize the weights, threshold, and leak parameter. We also propose a pipelined parallel processing scheme which hides the SNN time steps, significantly improving system latency, especially for long sequences. The resulting SNNs have high activation sparsity and require only accumulate operations (AC), in contrast to expensive multiply-and-accumulates (MAC) needed for ANNs, except for the input layer when using direct encoding, yielding significant improvements in energy efficiency. We evaluate our framework on sequential learning tasks including temporal MNIST, Google Speech Commands (GSC), and UCI Smartphone datasets on different LSTM architectures. We obtain test accuracy of 94.75% with only 2 time steps with direct encoding on the GSC dataset with 4.1x lower energy than an iso-architecture standard LSTM.

연구 동기 및 목표

• 스파iking LSTM의 높은 지연과 에너지 비효율성을 해결하기 위해 SNN의 시간적 및 희소적 동역학을 활용한다.
• 기존 SNN 변환 방법의 한계를 극복하기 위해 많은 시간 단계와 고비용 MAC 연산을 요구하는 문제를 해결한다.
• LIF 뉴런의 임계값과 누설 파rameter를 공동 최적화하는 프레임워크를 개발하여 변환 후 오차를 최소화한다.
• 저전력 뉴로모픽 하드웨어를 활용해 스트리밍 애플리케이션(예: 음성 및 동작 인식)에 실시간, 현장 내 추론을 가능하게 한다.
• 스파이킹 LSTM 모델에서 에너지 소비와 추론 지연을 크게 줄이면서도 거의 최신 기술 수준의 정확도를 달성한다.

제안 방법

• 변환 오차를 감소시키기 위해 원천 네트워크에서 표준 LSTM 활성화 함수(sigmoid 및 tanh)의 잘라내기 버전을 도입한다.
• 최적의 편향 이동을 통해 일부 활성화 함수만을 적절한 이격-화이어(IF) 뉴런으로 선택적 변환하여 SNN 추론에서 MAC 연산을 제거한다.
• 누설 항목을 고려한 적분-화이어(LIF) 활성화 함수에 대해 닫힌 형태의 표현식을 유도하여, 비균일 입력 분포 하에서 분석적 오차 분석을 가능하게 한다.
• 모수 조정 중에 임계값과 누설 파rameter를 공동 최적화하여 변환 오차를 최소화하기 위해 서로서로 유도하는 기울기 학습을 사용한다.
• SNN 시간 단계를 숨기고 병렬 처리를 통해 다중 입력 요소를 동시에 처리할 수 있도록 파이ipel라인 병렬 처리 기법을 구현하여 시스템 지연을 감소시킨다.
• 직접 인코딩을 사용할 경우 입력층을 제외한 모든 곳에서 누적 전용 연산(AC)을 사용하여 뉴로모픽 하드웨어에서의 에너지 효율성을 극대화한다.

실험 결과

연구 질문

• RQ1 정확도를 유지하면서도 정확한 스파이킹 LSTM 추론을 위해 필요한 시간 단계 수를 줄일 수 있는가?
• RQ2 IF 및 LIF 뉴런을 갖는 스파이킹 LSTMs로 비스파이킹 LSTMs를 변환할 때 변환 오차를 최소화하는 방법은 무엇인가?
• RQ3 LIF 뉴런에서 임계값과 누설 파rameter를 공동 최적화할 경우 추론 정확도와 에너지 효율성에 어떤 영향을 미치는가?
• RQ4 파이ipel라인 병렬 처리가 장시간 시퀀스에 대해 스파이킹 LSTM의 종단 간 지연을 크게 감소시킬 수 있는가?
• RQ5 특히 뉴로모픽 하드웨어에서 누적 전용 연산을 사용한 SNN이 MAC 기반 ANN 대비 에너지 소비를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 프레임워크는 직접 인코딩을 사용할 때 오직 2개의 시간 단계만으로 Google Speech Commands 데이터셋에서 94.75%의 테스트 정확도를 달성하며, 최신 기술 수준의 성능을 정확히 재현한다.
• 최신 기술 수준의 스파이킹 LSTM 대비 에너지 소비를 최대 13.2×까지 감소시키며, 표준 비스파이킹 LSTMs 대비 2.8×에서 5.1×까지 에너지 소비를 절감한다.
• 더 적은 시간 단계와 파이ipel라인 처리 덕분에 최신 기술 수준의 스파이킹 LSTM 대비 지연을 최대 105.7×까지 감소시키며, 비스파이킹 LSTMs 대비 4× 향상된 성능를 기록한다.
• 입력층을 제외한 SNN에서 누적 전용 연산을 사용함으로써 다이어그램 기반 계산을 피함으로써 상당한 에너지 절감 효과를 얻을 수 있다.
• 닫힌 형태의 LIF 활성화 함수를 통해 임계값과 누설 파rameter를 공동 최적화함으로써 분석적 오차 감소를 가능하게 하여 정확도-지연 트레이드오프를 향상시킨다.
• 시간적 MNIST, Google Speech Commands, UCI Smartphone 등 다양한 데이터셋에서 근사 최신 기술 수준의 정확도(<0.3% 손실)를 유지하며, 다양한 순차적 작업에 대한 일반화 능력을 입증한다.