[논문 리뷰] Algorithm and Hardware Design of Discrete-Time Spiking Neural Networks Based on Back Propagation with Binary Activations

Shihui Yin, Shreyas Kolala Venkataramanaiah외 5명|arXiv (Cornell University)|2017. 09. 19.

Advanced Memory and Neural Computing참고 문헌 14인용 수 5

한 줄 요약

이 논문은 비가역적인 스파iking 행동으로 인해 학습이 어려운 이산 시간 스파iking 신경망(SNNs)을 위한 백프로파게이션 기반 학습 알고리즘을 제안한다. 이 알고리즘은 이진 활성화와 직선 통과 기울기 추정기(straight-through gradient estimator)를 사용하여 문제를 해결한다. 이는 레이트 인코딩 및 시간적 인코딩 스파이크로부터 효과적으로 학습할 수 있도록 해주는 두 가지 SNN 변종—불연속적 통합과 연속적 통합—을 도입한다. 40nm CMOS 뉴로모픽 하드웨어에서 이미지당 48.4–773 nJ의 에너지 소비로 MNIST에서 98% 이상의 정확도를 달성한다.

ABSTRACT

We present a new back propagation based training algorithm for discrete-time spiking neural networks (SNN). Inspired by recent deep learning algorithms on binarized neural networks, binary activation with a straight-through gradient estimator is used to model the leaky integrate-fire spiking neuron, overcoming the difficulty in training SNNs using back propagation. Two SNN training algorithms are proposed: (1) SNN with discontinuous integration, which is suitable for rate-coded input spikes, and (2) SNN with continuous integration, which is more general and can handle input spikes with temporal information. Neuromorphic hardware designed in 40nm CMOS exploits the spike sparsity and demonstrates high classification accuracy (>98% on MNIST) and low energy (48.4-773 nJ/image).

연구 동기 및 목표

• 비가역적인 스파이크 행동으로 인해 학습이 어려운 이산 시간 스파킹 신경망(SNNs)을 백프로파게이션으로 학습하는 데 도전하는 것.
• 이진 활성화를 사용한 SNN의 효율적 학습을 가능하게 하기 위해 이진화된 신경망에서 영감을 얻은 직선 통과 기울기 추정기를 활용하는 것.
• 레이트 인코딩된 입력 스파이크를 처리할 수 있는 불연속적 통합과 시간적 인코딩된 입력 스파이크를 처리할 수 있는 연속적 통합을 각각 갖는 두 가지 SNN 아키텍처를 설계하는 것.
• 스파이크의 희소성을 활용하여 저에너지 동작을 구현하는 40nm CMOS 뉴로모픽 하드웨어 구현을 개발하는 것.
• 기본 데이터셋인 MNIST에서 높은 분류 정확도를 달성하면서도 초저전력 소비를 유지하는 것.

제안 방법

• 누설 적분-화이어(spiking) 뉴런에서 이진 활성화를 통해 기울기를 역전파할 수 있도록 직선 통과 기울기 추정기를 도입한다.
• 레이트 인코딩 입력에 적합한 불연속적 통합을 사용하는 SNN 학습 알고리즘과, 시간 인코딩에 적합한 연속적 통합을 사용하는 다른 알고리즘을 제안한다.
• 막막 잠재력 임계값 기반으로 이진 출력(0 또는 1)을 갖는 이산 시간 공식화를 사용해 스파이크 뉴런의 동역학을 모델링한다.
• 비가역적인 임계값에도 불구하고 기울기 흐름을 허용하기 위해 이진 활성화 함수를 백프로파게이션 프레임워크에 통합한다.
• 희소 스파이크 활동에 최적화된 40nm CMOS 뉴로모픽 하드웨어 아키텍처를 설계한다.
• 추론 중에 스파이크의 희소성을 활용하여 동적 및 정적 전력 소비를 최소화한다.

실험 결과

연구 질문

• RQ1 이산 시간 스파킹 신경망에 이진 활성화를 적용할 때 백프로파게이션을 효과적으로 적용할 수 있는가?
• RQ2 스파이크 생성의 비가역성은 SNN 학습에서 어떻게 해결할 수 있는가?
• RQ3 연속적 통합을 사용하는 SNN은 불연속적 통합을 사용하는 SNN보다 시간적 스파이크 패턴을 더 효과적으로 학습할 수 있는가?
• RQ4 이진 활성화와 백프로파게이션을 사용한 하드웨어 기반 SNN의 실현 가능한 정확도와 에너지 효율성은 어느 정도인가?
• RQ5 40nm CMOS 뉴로모픽 하드웨어는 이미지당 1밀리줄 이하의 에너지 소비로 높은 정확도를 달성할 수 있는가?

주요 결과

• 연속적 통합을 사용하는 제안된 SNN은 MNIST 데이터셋에서 98% 이상의 분류 정확도를 달성한다.
• 40nm CMOS 하드웨어에서의 구현은 네트워크 구성에 따라 이미지당 48.4–773 nJ의 에너지 효율성을 확보한다.
• 이진 활성화와 직선 통과 기울기 추정기를 사용함으로써 SNN에서 안정적이고 효과적인 백프로파게이션을 가능하게 한다.
• 불연속적 통합 변종은 레이트 인코딩 입력 스파이크에 효과적이며, 연속적 변종은 더 풍부한 시간적 인코딩을 지원한다.
• 뉴로모픽 하드웨어 설계는 스파이크의 희소성을 효과적으로 활용하여 추론 중 에너지 소비를 최소화했다.
• 결과적으로, 이진 활성화와 백프로파게이션을 갖는 SNN는 초저전력 소비로 높은 정확도를 달성할 수 있으며, 효율성 면에서 기존의 DNN에 뒤지지 않는 것으로 입증되었다.