[논문 리뷰] SpikeGrad: An ANN-equivalent Computation Model for Implementing Backpropagation with Spikes

Johannes Thiele, Olivier Bichler외 1명|arXiv (Cornell University)|2019. 06. 03.

Advanced Memory and Neural Computing인용 수 16

한 줄 요약

SpikeGrad는 효율적인 훈련을 위해 등가의 인공신경망(ANN)을 사용하여 기울기를 스파ike 이벤트로 이산화하는 완전한 스파이크 기반 역전파 알고리즘을 제안한다. 스파iking 동역학을 ANN 등가로 매핑함으로써, 희소하고 저정밀도의 스파이크 기반 오차 전파를 통해 MNIST(99.52%)와 CIFAR10(89.99%)에서 높은 정확도를 달성하며, 전체 정밀도 역전파 방법과 경쟁 가능한 성능을 보여준다.

ABSTRACT

Event-based neuromorphic systems promise to reduce the energy consumption of deep learning tasks by replacing expensive floating point operations on dense matrices by low power sparse and asynchronous operations on spike events. While these systems can be trained increasingly well using approximations of the back-propagation algorithm, these implementations usually require high precision errors for training and are therefore incompatible with the typical communication infrastructure of neuromorphic circuits. In this work, we analyze how the gradient can be discretized into spike events when training a spiking neural network. To accelerate our simulation, we show that using a special implementation of the integrate-and-fire neuron allows us to describe the accumulated activations and errors of the spiking neural network in terms of an equivalent artificial neural network, allowing us to largely speed up training compared to an explicit simulation of all spike events. This way we are able to demonstrate that even for deep networks, the gradients can be discretized sufficiently well with spikes if the gradient is properly rescaled. This form of spike-based backpropagation enables us to achieve equivalent or better accuracies on the MNIST and CIFAR10 dataset than comparable state-of-the-art spiking neural networks trained with full precision gradients. The algorithm, which we call SpikeGrad, is based on accumulation and comparison operations and can naturally exploit sparsity in the gradient computation, which makes it an interesting choice for a spiking neuromorphic systems with on-chip learning capacities.

연구 동기 및 목표

• 스파이크 기반 역전파를 스파이크 기반 추론과 완전히 통합하여 뉴모르픽 하드웨어에서 칩 내 학습을 가능하게 하기 위해.
• 고정밀 기울기와 뉴모르픽 시스템의 희소하고 저전력 통신 인프라 간의 호환성 문제를 해결하기 위해.
• 분류 정확도를 저하시키지 않은 채 기울기를 효과적으로 스파이크 이벤트로 이산화할 수 있는지 입증하기 위해.
• 큰 규모의 스파iking 신경망에서 기울기의 희소성을 활용해 에너지 효율적인 훈련을 실현하기 위해.
• 표준 역전파를 모방하는 수학적으로 탄탄하고 확장 가능한 스파이크 기반 오차 전파 프레임워크를 제공하기 위해.

제안 방법

• 기울기 이산화를 위한 별도의 오차 누적 캄파artment를 갖춘 이중 캄파artment 인테그레이트-애ンド-파이어 뉴런 모델을 도입한다.
• 서명이 있는 스파이크 이벤트를 통한 스파이크 기반 오차 전파를 사용하여 희소하고 비동기적 계산을 가능하게 한다.
• 스파이크 누적량을 등가의 실수값 활성화로 매핑함으로써 GPU에서 대규모 SNN 훈련을 효율적으로 시뮬레이션하기 위해 등가 ANN 모델을 활용한다.
• 스파이크 기반 기울기의 동적 범위를 제어하고 훈련 안정성을 향상시키기 위해 오차 재스케일링 인자 α를 적용한다.
• 오차 신호를 스파이크 수로 인코딩하고 고정된 시냅스 가중치를 통해 뒤로 전파하는 직접 스파이크 기울기 방법을 활용한다.
• 모든 연산을 스파이크 누적량과 비교로 표현함으로써 전방 및 역방향 전파에서의 희소성을 최소한도로 줄여 MAC 연산을 최소화한다.

실험 결과

연구 질문

• RQ1 고정밀 기울기로 훈련된 SNN과 비교해도 분류 정확도를 유지하면서 기울기를 효과적으로 스파이크 이벤트로 이산화할 수 있는가?
• RQ2 SNN에서 전파된 기울기의 희소성은 ANNs에서의 희소성과 비교해 어떻게 되며, 이를 에너지 효율성 향상에 활용할 수 있는가?
• RQ3 스파이크 기반 역전파 알고리즘이 깊은 SNN에서 전체 정밀도 기울기 방법과 비슷한 성능을 달성할 수 있는가?
• RQ4 훈련 가속화를 위해 스파iking 신경망의 동역학을 등가의 인공신경망으로 정확하게 모델링할 수 있는 정도는 어느 정도인가?
• RQ5 오차 재스케일링(α)이 스파이크 기반 역전파의 수렴성과 정확도에 미치는 영향은 무엇인가?

주요 결과

• SpikeGrad는 MNIST에서 테스트 정확도 99.52%를 달성하여 전체 정밀도 기울기를 사용해 훈련된 최신 SNN들과 비교해도 동등하거나 이를 초월한다.
• CIFAR10에서는 스파이크 기반 기울기를 사용해 89.99%의 정확도를 달성하며, 기존 SNN들을 능가하고 전체 정밀도 기준에 근접한다.
• 역전파 중 시냅스 연산 수(ACC)는 추론 정밀도가 높아질수록 감소하여 기울기의 희소성이 증가함을 나타낸다.
• 네트워크의 깊이가 증가할수록 기울기의 희소성이 증가하며, 특히 후기 훈련 에포크에서 더 깊은 층에서 더 적은 연산이 필요로 한다.
• 등가 ANN 모델은 대규모 SNN의 효율적인 GPU 기반 시뮬레이션을 가능하게 하여 훈련 시간을 단축시키면서도 스파이크 기반 계산의 정확성을 유지한다.
• 이 방법은 스파이크 기반 오차 전파가 실현 가능하고 확장 가능함을 입증하여 뉴모르픽 시스템에서 완전한 이벤트 기반 학습을 가능하게 한다.