[논문 리뷰] Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks

Bojian Yin, Federico Corradi외 1명|arXiv (Cornell University)|2021. 03. 12.

Advanced Memory and Neural Computing인용 수 13

한 줄 요약

이 논문은 새로운 다중가우시안 대체 기울기와 조정 가능한 뉴런 시간 상수를 갖춘 적응형 스파iking 순환 신경망(SRNN)을 제안하여 음성 및 제스처 인식과 같은 시간 도메인 벤치마크에서 최신 기술 성능을 달성한다. 이는 전통적인 SNN 및 RNN을 뛰어넘으며, 희소 스파이크 활동 덕분에 계산 효율성이 1에서 3개 지수만큼 향상된다.

ABSTRACT

Inspired by more detailed modeling of biological neurons, Spiking neural networks (SNNs) have been investigated both as more biologically plausible and potentially more powerful models of neural computation, and also with the aim of extracting biological neurons' energy efficiency; the performance of such networks however has remained lacking compared to classical artificial neural networks (ANNs). Here, we demonstrate how a novel surrogate gradient combined with recurrent networks of tunable and adaptive spiking neurons yields state-of-the-art for SNNs on challenging benchmarks in the time-domain, like speech and gesture recognition. This also exceeds the performance of standard classical recurrent neural networks (RNNs) and approaches that of the best modern ANNs. As these SNNs exhibit sparse spiking, we show that they theoretically are one to three orders of magnitude more computationally efficient compared to RNNs with comparable performance. Together, this positions SNNs as an attractive solution for AI hardware implementations.

연구 동기 및 목표

• 스파iking 신경망(SNN)과 전통적인 인공신경망(ANN) 간의 시간 순서 모델링에서의 성능 격차를 해소하기 위해.
• 음성 및 제스처 인식과 같은 도전적인 시간 도메인 과제에서 SNN의 훈련 안정성과 정확도를 향상시키기 위해.
• 스파이킹 뉴런의 희소 이벤트 기반 특성을 활용하여 에너지 효율적인 AI 하드웨어 구현을 가능하게 하기 위해.
• SNN이 전통적인 RNN의 성능을 따라하거나 뛰어넘으면서도 낮은 계산 및 에너지 비용을 유지할 수 있음을 입증하기 위해.

제안 방법

• 비가역적 스파이크 함수를 백프로파게이션 중에 더 잘 근사하기 위해 음성 기울기를 포함한 새로운 다중가우시안 대체 기울기를 도입하여, ELU 활성화 함수에서 영감을 얻었다.
• 제안된 대체 기울기를 사용하여 순환 스파이킹 뉴런에서 시간을 거슬러 내려가는 역전파(BPTT)를 적용하여 엔드 투 엔드 훈련을 수행한다.
• 네트워크 가중치와 함께 적응형 누설적분-화이어(LIF) 뉴런의 내부 시간 상수 매개변수를 함께 훈련시켜 학습 동역학과 성능을 향상시킨다.
• 연속적인 입력 신호(예: ECG, 오디오)를 스파이크 트레인으로 변환하기 위해 수준 교차 인코딩을 사용하여 시간 정보를 유지하고 시간 도메인 처리에 적합하게 한다.
• TIMIT와 같은 과제에서 순서 모델링을 향상시키기 위해 전방 및 후방 은닉 상태의 평균을 취하는 양방향 SRNN을 적용한다.
• 스파이킹 활동의 희소성 덕분에 저비용 AC 연산이 고비용 MAC 연산보다 지배적인 점을 고려하여, 이론적으로 에너지 효율성을 모델링한다.

실험 결과

연구 질문

• RQ1 새로운 대체 기울기가 시간 도메인 과제에 대한 스파이킹 순환 네트워크의 훈련 안정성과 성능 향상에 기여하는가?
• RQ2 스파이킹 뉴런의 시간 상수를 함께 훈련시키는 것이 고정 매개변수보다 더 나은 일반화 및 정확도를 달성하는가?
• RQ3 SRNN이 Google 음성 명령, TIMIT, SoLi 제스처 인식과 같은 도전적인 벤치마크에서 최신 기술 성능을 달성할 수 있는가?
• RQ4 SRNN의 희소 스파이크 패턴이 유사 정확도를 갖는 표준 RNN 및 ANN에 비해 계산 및 에너지 비용을 얼마나 줄이는가?
• RQ5 SRNN이 전통적인 RNN의 성능을 따라하거나 뛰어넘으면서도 스파이킹 시스템에 내재된 에너지 효율성을 유지할 수 있는가?

주요 결과

• 제안된 다중가우시안 대체 기울기는 ECG, 음성, 제스처 인식 과제를 포함한 모든 평가 벤치마크에서 기존의 대체 기울기를 뛰어넘는 일관된 성능을 보였다.
• 적응형 스파이킹 뉴런의 시간 상수를 함께 훈련시키는 것은 특히 TIMIT 및 SoLi와 같은 복잡한 시간 과제에서 성능 향상이 뚜렷하게 나타났다.
• Google 음성 명령 데이터셋에서 SRNN은 이전의 SNN을 뛰어넘고 최신 현대 ANN의 성능에 가까이 다가섰다.
• TIMIT 벤치마크에서 양방향 적응형 SRNN은 전방 및 후방 순서 처리를 활용하고 출력을 평균화하여 높은 정확도를 달성했다.
• SRNN의 평균 스파이킹 뉴런은 3에서 30개 타임스텝마다 한 번만 스파이크를 발생시켜 매우 희소한 활동을 보였다.
• 이론적 에너지 비용 분석 결과, 유사 정확도를 갖는 RNN 및 ANN에 비해 SRNN은 1에서 3개 지수만큼 더 계산 효율적이며, 저비용 AC 연산이 고비용 MAC 연산을 지배하기 때문이다.