[논문 리뷰] Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks

Bojian Yin, Federico Corradi외 1명|arXiv (Cornell University)|2020. 05. 24.

Advanced Memory and Neural Computing참고 문헌 40인용 수 10

한 줄 요약

이 논문은 파이토치에서 순환 역전파(backpropagation-through-time)와 대체 기울기(surrogate gradients)를 활용하여 다중 시간스케일 스파iking 뉴런을 훈련하는 새로운 적응형 스파이킹 순환 신경망(SRNN)을 제안한다. 이로 인해 순차적 및 스트리밍 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 고체적 활동(sparse activity) 덕분에 고전적 RNN보다 100배 이상의 에너지 효율성 향상을 이룬다.

ABSTRACT

The emergence of brain-inspired neuromorphic computing as a paradigm for edge AI is motivating the search for high-performance and efficient spiking neural networks to run on this hardware. However, compared to classical neural networks in deep learning, current spiking neural networks lack competitive performance in compelling areas. Here, for sequential and streaming tasks, we demonstrate how a novel type of adaptive spiking recurrent neural network (SRNN) is able to achieve state-of-the-art performance compared to other spiking neural networks and almost reach or exceed the performance of classical recurrent neural networks (RNNs) while exhibiting sparse activity. From this, we calculate a $>$100x energy improvement for our SRNNs over classical RNNs on the harder tasks. To achieve this, we model standard and adaptive multiple-timescale spiking neurons as self-recurrent neural units, and leverage surrogate gradients and auto-differentiation in the PyTorch Deep Learning framework to efficiently implement backpropagation-through-time, including learning of the important spiking neuron parameters to adapt our spiking neurons to the tasks.

연구 동기 및 목표

• 뉴로모픽 엣지 AI 하드웨어에 적합한 에너지 효율적인 스파이킹 순환 신경망(SRNN)을 개발하기 위해.
• SNN 훈련 시 비미분 가능 스파이킹 뉴런 활성화 함수 문제를 해결하기 위해.
• 네트워크 가중치뿐 아니라 스파이킹 뉴런의 시간 상수와 같은 매개변수까지 훈련함으로써 SRNN에서 엔드 투 엔드 순환 역전파(BPTT)를 가능하게 하기 위해.
• 적응형 다중 시간스케일 스파이킹 뉴런이 순차적 및 스트리밍 작업에서 고전적 RNN과 경쟁 가능한 성능을 달성할 수 있음을 입증하기 위해.
• 이론적 에너지 비용 분석을 통해 고전적 RNN에 비해 상당한 에너지 효율성 향상을 정량화하고 입증하기 위해.

제안 방법

• 표준 및 적응형 스파이킹 뉴런을 다중 동적 시간스케일을 가진 자기 피드백 단위로 모델링한다.
• 비미분 가능 스파이킹 뉴런 활성화 함수의 미분 가능 훈련을 가능하게 하기 위해 대체 기울기를 활용한다.
• 파이토치 딥러닝 프레임워크의 자동 미분 기능을 활용하여 SRNN에서 순환 역전파(BPTT)를 수행한다.
• 네트워크 가중치 외에도 스파이킹 뉴런의 핵심 매개변수(예: 시간 상수)까지 BPTT를 통해 훈련하여 작업에 특화된 시간 동적 특성에 적응하도록 한다.
• 네트워크의 평균 발화 빈도(Fr << 1)가 낮은 특성을 활용하여 희박한 이벤트 기반 계산을 구현한다.
• MAC 및 AC 연산 기반의 이론적 에너지 비용 모델링을 사용하여 에너지 비용을 스파이킹 활동(Fr) 비례로 정량화함으로써 효율성 향상을 확인한다.

실험 결과

연구 질문

• RQ1 대체 기울기와 BPTT로 훈련된 적응형 스파이킹 순환 신경망은 순차적 및 스트리밍 작업에서 고전적 RNN과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 스파이킹 뉴런의 시간 상수를 훈련하는 것이 고정 시간스케일 뉴런보다 작업에 특화된 시간 동적 특성에 더 잘 적응할 수 있는가?
• RQ3 스파이킹 SRNN은 특히 고성능 환경에서 고전적 RNN에 비해 어느 정도의 에너지 효율성 향상을 달성할 수 있는가?
• RQ4 스파이킹 뉴런에 다중 시간스케일을 통합할 경우 네트워크 성능 및 에너지 효율성에 어떤 영향을 미치는가?
• RQ5 복잡한 SNN을 파이토치와 같은 현대 딥러닝 프레임워크에 통합함으로써 대규모 스파이킹 네트워크의 확장 가능하고 효율적인 훈련이 가능한가?

주요 결과

• 적응형 SRNN은 QTDB 심전도 분류 작업에서 84.4%의 정확도를 기록하여 LIF SRNN(73.7%)을 능가하고 고전적 LSTM 성능에 근접했다.
• SHD 음성 데이터셋에서 적응형 SRNN은 81.71%의 정확도를 달성했으며, 이론적 에너지 효율성은 RELU SRNN 대비 243배 뛰어나고 고전적 LSTMs보다 100배 이상 높았다.
• S-MNIST에서 적응형 SRNN은 97.82%의 정확도를 기록하여 최신 기술 수준의 SNN과 경쟁하거나 이를 초월했고, 고전적 RNN 성능에 근접했다.
• 에너지 비율 분석 결과, PS-MNIST 작업에서 적응형 SRNN은 양방향 LSTM 대비 1930배 더 에너지 효율성이 높았다.
• 이론적 에너지 모델링을 통해 SRNN이 희박한 스파이킹 활동(Fr << 1) 덕분에 복잡한 작업에서 고전적 RNN보다 >100배의 에너지 효율성 향상을 달성함을 확인했다.
• SRNN을 비스파이킹 RELU RNN으로 변환하면 일관되게 성능이 향상되었으며, 이는 계층적 순환 아키텍처가 이 프레임워크에서 특히 효과적임을 시사한다.