[논문 리뷰] A Spike in Performance: Training Hybrid-Spiking Neural Networks with Quantized Activation Functions

Aaron R. Voelker, Daniel Rasmussen외 1명|arXiv (Cornell University)|2020. 02. 10.

Advanced Memory and Neural Computing참고 문헌 41인용 수 6

한 줄 요약

이 논문은 비정형 신경망(ANN)과 스파iking 신경망(SNN) 사이를 부드럽게 보간하는 새로운 학습 방법을 제안한다. 이 방법은 스파iking 뉴런을 시간에 따라 분산된 양자화 오차를 가진 1비트 양자화기로 모델링함으로써, 비스파이크(ANN)와 스파이크(SNN) 상태 사이를 부드럽게 이동시킨다. 이 방법은 sMNIST와 psMNIST에서 최신 기준 성능을 달성하면서도 평균 활성도를 3.74비트로 줄이고, 유의미한 비트 수를 1.26으로 줄여 성능을 훼손하지 않고도 상당한 에너지 효율성 향상을 이룬다.

ABSTRACT

The machine learning community has become increasingly interested in the energy efficiency of neural networks. The Spiking Neural Network (SNN) is a promising approach to energy-efficient computing, since its activation levels are quantized into temporally sparse, one-bit values (i.e., "spike" events), which additionally converts the sum over weight-activity products into a simple addition of weights (one weight for each spike). However, the goal of maintaining state-of-the-art (SotA) accuracy when converting a non-spiking network into an SNN has remained an elusive challenge, primarily due to spikes having only a single bit of precision. Adopting tools from signal processing, we cast neural activation functions as quantizers with temporally-diffused error, and then train networks while smoothly interpolating between the non-spiking and spiking regimes. We apply this technique to the Legendre Memory Unit (LMU) to obtain the first known example of a hybrid SNN outperforming SotA recurrent architectures -- including the LSTM, GRU, and NRU -- in accuracy, while reducing activities to at most 3.74 bits on average with 1.26 significant bits multiplying each weight. We discuss how these methods can significantly improve the energy efficiency of neural networks.

연구 동기 및 목표

• 비스파이크 네트워크를 스파이킹 신경망(SNN)으로 변환할 때 발생하는 1비트 스파이크 정밀도로 인해 성능이 떨어지는 문제를 해결하기 위해.
• ANN와 SNN 상태 사이를 부드럽게 보간함으로써 정확도와 에너지 효율성을 균형 잡는 원칙적인 하이브리드-SNN 학습 방법을 개발하기 위해.
• 활성도를 희소한 1비트 스파이크로 양자화하면서도 시간에 따라 양자화 오차를 제한함으로써 에너지 효율적인 신경망 추론을 가능하게 하기 위해.
• 하이브리드 네트워크가 표준 ANNs와 SNNs를 모두 초월하는 정확도를 달성하면서도 뛰어난 에너지 효율성을 확보할 수 있음을 보여주기 위해.
• 다양한 아키텍처, 특히 레지스터 메모리 유닛(LMU)과 같은 순환 네트워크에 적용 가능한 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 스파iking 뉴런을 향후 시간 단계에 걸쳐 양자화 오차를 분산시키는 1비트 양자화기로 모델링하며, 신호 처리 분야의 Floyd-Steinberg 딜레이팅과 유사하다.
• 훈련 중에 비스파이크(32비트)와 스파이크(1비트) 활성도 상태 사이를 연속적이고 미분 가능한 보간을 도입함으로써, 네트워크가 최적의 양자화 행동을 학습할 수 있도록 한다.
• 시간에 따라 분포된 오차 모델을 가진 양자화 활성도 함수를 사용하여, 유한한 양자화 오차를 확보하고, 양자화 과정을 통해 역전파를 가능하게 한다.
• 이 프레임워크는 저통과 필터의 동역학과 0 상태 선호도 덕분에 안정적인 하이브리드 네트워크 훈련을 가능하게 하는 레지스터 메모리 유닛(LMU)에 적용된다.
• 이 방법은 임의의 비트 폭, 포함해 분수 비트 표현까지 일반화되며, 양수 및 음수 스파이크 출력을 모두 지원한다.
• 훈련 과정은 점차 스파이킹 행동을 증가시키는 스케줄을 사용하여, 네트워크가 정밀도 감소에 적응하면서도 정확도를 유지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 하이브리드-스파이킹 신경망은 표준 비스파이크 및 스파이킹 네트워크를 초월하는 정확도를 달성하면서도 뛰어난 에너지 효율성을 확보할 수 있는가?
• RQ2 스파이킹 신경망에서의 양자화 오차는 어떻게 제한하고 시간에 따라 분산시킬 수 있으며, 이로 인해 훈련 중 성능 유지가 가능할 수 있는가?
• RQ3 비스파이크와 스파이킹 상태 사이의 보간은 정확도와 에너지 효율성 간의 트레이드오프를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 시간에 따라 오차가 누적되는 경향이 있는 순환 아키텍처인 LMU에 효과적으로 적용될 수 있는가?
• RQ5 하이브리드-SNN의 실제 비트 폭과 유의미한 비트 수는 무엇이며, 표준 ANNs와 SNNs에 비해 하드웨어 에너지 절감 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법으로 훈련된 하이브리드-SNN은 sMNIST 데이터셋에서 최신 기준 성능을 달성하였으며, 원래 LMU를 제외한 모든 다른 SNN과 비스파이크 RNN보다 뛰어난 성능을 보였다.
• 더 도전적인 psMNIST 과제에서는 원래 LMU를 제외한 모든 비스파이크 RNN보다 높은 정확도를 달성하여, 정밀도가 감소했음에도 불구하고 뛰어난 성능을 보였다.
• 뉴런당 평균 활성도는 3.74비트로 감소하였으며, 무게당 유의미한 비트 수는 1.26으로 줄어들어 하드웨어에서의 에너지 절감 잠재력이 크다는 것을 시사한다.
• 표준 LMU 구현 대비 활성도 정밀도를 26비트 감소시켰으며, 테스트 정확도는 0.32% 감소에 그쳤다.
• 이 프레임워크는 시간에 따른 양자화 오차를 성공적으로 제한하였고, 하이브리드 네트워크의 안정적인 훈련을 가능하게 하였다. 특히 LMU 행렬을 고정한 상태에서도 성공적으로 훈련이 가능했다.
• 이 방법은 다른 아키텍처로 일반화 가능하며, 다비트 및 분수 비트 양자화를 지원하여 정확도와 에너지 효율성 간의 다양한 유연한 트레이드오프를 가능하게 한다.