[논문 리뷰] Sparse Spiking Gradient Descent

Nicolas Perez-Nieves, Dan F. M. Goodman|arXiv (Cornell University)|2021. 05. 18.

Advanced Memory and Neural Computing참고 문헌 48인용 수 4

한 줄 요약

이 논문은 스파iking 신경망(SNNs)을 위한 백프로파게이션 알고리즘인 스파스 스파이크 기반 경사 하강법을 소개한다. 이 방법은 스파이크의 본질적 시공간적 희소성(스파arsity)을 활용하여 학습 속도를 가속화하고 메모리 사용량을 줄인다. 활성 뉴런에 집중된 업데이트를 위해 서로가 경사 함수를 재정의함으로써, 이 방법은 백워드 패스 속도를 최대 150배 빠르게 하고, Fashion-MNIST, 뉴로모르픽-MNIST, 스파이크 헤이델베르크 디지트 등의 데이터셋에서 메모리 사용량을 85% 감소시킨다. 이와 동시에 최신 기술 수준의 정확도를 유지한다.

ABSTRACT

There is an increasing interest in emulating Spiking Neural Networks (SNNs) on neuromorphic computing devices due to their low energy consumption. Recent advances have allowed training SNNs to a point where they start to compete with traditional Artificial Neural Networks (ANNs) in terms of accuracy, while at the same time being energy efficient when run on neuromorphic hardware. However, the process of training SNNs is still based on dense tensor operations originally developed for ANNs which do not leverage the spatiotemporally sparse nature of SNNs. We present here the first sparse SNN backpropagation algorithm which achieves the same or better accuracy as current state of the art methods while being significantly faster and more memory efficient. We show the effectiveness of our method on real datasets of varying complexity (Fashion-MNIST, Neuromophic-MNIST and Spiking Heidelberg Digits) achieving a speedup in the backward pass of up to 150x, and 85% more memory efficient, without losing accuracy.

연구 동기 및 목표

• 스파이크 활동에 내재된 시공간적 희소성을 활용하지 못하는 기존의 조밀한 텐서 연산으로 인한 SNN 학습의 비효율성을 해결하기 위해.
• neuromorphic 하드웨어에서의 종단간 학습을 제한하고 있는 SNN의 백프로파게이션에 대한 계산 및 메모리 오버헤드를 줄이기 위해.
• 높은 정확도를 유지하면서도 훈련 속도와 효율성을 크게 향상시키는 스파스 백프로파게이션 방법을 개발하기 위해.
• 새로운 서로가 경사 함수 설정을 통해 스파이크 기반의 스파스 기반 경사 계산이 가능하고 유익한지 입증하기 위해.
• SNN 학습에서의 측정 가능한 성능 향상을 보여줌으로써, 딥 러닝 프레임워크에서의 스파스 연산자 보급을 촉진하기 위해.

제안 방법

• 서로가 경사 함수를 재정의하여 스파이크 임계값 근처에서 더 큰 값을 가지도록 하여, 활성 뉴런에 집중된 경사 업데이트를 유도하고, 백프로파게이션에서 자연스럽게 희소성을 유도한다.
• 수정된 서로서가 경사 함수에서 유도된 삼인자 히브시안 유사 학습 규칙을 제안하여, 스파이크를 발생시킨 뉴런에서만 효율적인 경사 계산을 가능하게 한다.
• 백워드 패스 동안 활성 뉴런과 그에 연결된 가중치에만 집중함으로써, 전체 경사 연산의 98%를 건너뛰어 계산을 절약한다.
• 비활성 뉴런과 0 경사 기여를 동적으로 제외하는 스파스 계산 그래프를 사용하여, FLOPs와 메모리 사용량을 모두 감소시킨다.
• 완전 연결 SNN 레이어를 위한 커스터마이징된 스파스 CUDA 커널을 구현하여 이벤트 기반 스파이크 활동을 최적화한다.
• 기존의 SNN 학습 파ip라인과 호환되며, 컨볼루션 및 프루닝된 SNN 아키텍처로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 스파이크 활동의 희소성을 활용하여 정확도를 희생시키지 않고 SNN의 백프로파게이션을 가속화할 수 있는가?
• RQ2 SNN에서 활성 뉴런에만 국한하여 경사 계산을 제한할 경우, 얼마나 많은 속도 향상과 메모리 감소를 기대할 수 있는가?
• RQ3 수정된 서로서가 경사 함수가 생물학적으로 타당하고 계산적으로 효율적인 스파스 학습 규칙을 자연스럽게 유도할 수 있는가?
• RQ4 GPU와 같은 표준 하드웨어에서 커스터마이징된 스파스 커널을 사용해 SNN에서의 스파스 백프로파게이션은 실현 가능하고 성능이 우수한가?
• RQ5 제안된 방법은 실제 세계 데이터셋에서 최신 기술 수준의 정확도를 유지하면서도, 밀도 기반 백프로파게이션보다 훈련 효율성이 뛰어나지 않는가?

주요 결과

• 제안된 스파스 백프로파게이션 방법은 실제 데이터셋에서 밀도 기반 구현 대비 백워드 패스 속도를 최대 150배 빠르게 한다.
• 비활성 뉴런과 엣지에서 98%의 경사 연산을 건너뛰기 때문에, 메모리 사용량이 최대 85% 감소한다.
• Fashion-MNIST, 뉴로모르픽-MNIST, 스파이크 헤이델베르크 디지트에서 정확도를 유지하거나 향상시키며, 최신 기술 수준의 결과를 달성하거나 초월한다.
• 네트워크 아키텍처를 수정하지 않고도, 활성 뉴런을 우선시하도록 서로서가 경사 함수를 재정의함으로써 속도 향상을 달성한다.
• 기존의 SNN 학습 프레임워크와 호환되며, 컨볼루션 및 프루닝된 SNN으로도 확장 가능하다.
• 이 연구는 스파스 텐서 연산이 SNN 학습을 크게 가속화할 수 있음을 입증하여, 이들이 딥 러닝에 유익하지 않다는 가정을 도전한다.