[논문 리뷰] Hoyer regularizer is all you need for ultra low-latency spiking neural networks

Gourav Datta, Zeyu Liu외 1명|arXiv (Cornell University)|2022. 12. 20.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 한 번의 시간 단계에서만 작동하는 스파iking 신경망(SNNs)을 위한 새로운 학습 프레임워크를 제안한다. 이 프레임워크는 헤이어 정규화를 사용해 임계값을 동적으로 학습함으로써 고정밀도, 초저지연 추론을 가능하게 한다. 각 레이어의 임계값을 잘라낸 활성화 맵의 헤이어 극값으로 설정하고, 헤이어 정규화를 사용해 경사 하강법으로 최적화함으로써 가중치 갱신 빈도를 높이고 막막 전위를 임계값에서 멀리 이동시켜 수렴성과 강건성을 향상시키며, 최신 기술 대비 뛰어난 정확도-FLOPs 트레이드오프를 달성한다.

ABSTRACT

Spiking Neural networks (SNN) have emerged as an attractive spatio-temporal computing paradigm for a wide range of low-power vision tasks. However, state-of-the-art (SOTA) SNN models either incur multiple time steps which hinder their deployment in real-time use cases or increase the training complexity significantly. To mitigate this concern, we present a training framework (from scratch) for one-time-step SNNs that uses a novel variant of the recently proposed Hoyer regularizer. We estimate the threshold of each SNN layer as the Hoyer extremum of a clipped version of its activation map, where the clipping threshold is trained using gradient descent with our Hoyer regularizer. This approach not only downscales the value of the trainable threshold, thereby emitting a large number of spikes for weight update with a limited number of iterations (due to only one time step) but also shifts the membrane potential values away from the threshold, thereby mitigating the effect of noise that can degrade the SNN accuracy. Our approach outperforms existing spiking, binary, and adder neural networks in terms of the accuracy-FLOPs trade-off for complex image recognition tasks. Downstream experiments on object detection also demonstrate the efficacy of our approach.

연구 동기 및 목표

• 다중 시간 단계 추론이나 사전 학습에 의존하지 않고 초저지연 스파이크 신경망(SNNs)을 가능하게 하기 위해.
• 희박한 스파이크 활동로 인해 가중치 갱신 기회가 제한된 한 번의 시간 단계에서만 작동하는 정확한 SNN을 학습하는 데 도전하기 위해.
• 막막 전위 분포를 임계값에서 멀리 이동시켜 수렴성과 강건성을 향상시키고 노이즈 민감도를 감소시키기 위해.
• 기존 SNN, 이진 신경망(BNN), 어드너 신경망(AddNN)과 비교해 뛰어난 정확도-FLOPs 트레이드오프를 달성하기 위해.

제안 방법

• 각 SNN 레이어의 임계값은 막막 전위 텐서의 잘라낸 버전의 헤이어 극값으로 계산된다.
• 잘라내는 임계값은 미분 가능하며, 새로운 헤이어 정규화를 사용해 경사 하강법으로 최적화되어 희박성과 안정성을 증진시킨다.
• 헤이어 정규화는 잘라낸 막막 전위 텐서에 적용되어 활성화의 균형 잡힌 분포를 장려하고, 임계값 근처의 군집을 감소시킨다.
• 헤이어 스파이크 레이어는 입력에 따라 레이어별로 동적으로 임계값을 설정해 적응형, 입력 의존적 스파이크 행동을 가능하게 한다.
• 이 프레임워크는 DNN 사전 학습이나 반복적 단계 감소 없이 SNN을 처음부터 학습시켜 저학습 오버헤드를 보장한다.
• 이 방법은 극도의 희박성(22% 스파이크 활동)을 가능하게 하며, 2~6비트 고정점 누적을 지원해 에너지 소비를 감소시킨다.

실험 결과

연구 질문

• RQ1 1회 시간 단계 SNN은 다중 시간 단계 추론이나 사전 학습 없이도 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 SNN의 임계값을 효과적으로 학습시켜 한 번의 시간 단계에서 가중치 갱신을 최대화할 수 있는가?
• RQ3 헤이어 정규화는 막막 전위 분포를 임계값에서 멀리 이동시켜 수렴성과 강건성을 향상시킬 수 있는가?
• RQ4 SOTA BNN 및 AddNN와 비교해 1회 시간 단계 SNN의 에너지 및 FLOP 효율성은 어떠한가?
• RQ5 제안된 방법은 가중치 양자화 조건에서도 높은 정확도를 유지하면서 낮은 스파이크 활동을 유지할 수 있는가?

주요 결과

• 제안된 방법은 VGG16 기반 SNN을 사용해 CIFAR-10에서 93.44%의 top-1 정확도를 달성했으며, SOTA 1회 시간 단계 SNN을 능가하고 BNN 및 AddNN 성능과 동일하거나 초월한다.
• SOTA BNN 및 AddNN와 비교해 FLOPs를 5.5배 감소시켰으며, 유사하거나 높은 정확도를 유지했다.
• 표준 DNN 대비 에너지 소비는 24.34~34.21배 감소했으며, 6비트 양자화 모델은 정확도 저하가 0.02%에 불과했다.
• 2비트 양자화 SNN은 CIFAR-10에서 92.34% 정확도를 기록했고 스파이크 활동률은 22%를 유지했으며, 정확도와 에너지 효율성 모두 양극성 BNN을 능가했다.
• ImageNet에서는 14.28J의 계산 에너지로 68.00%의 top-1 정확도를 달성했으며, SOTA BNN 및 AddNN를 초월했고 일부 AddNN보다 에너지 소비를 절반 이하로 줄였다.
• SOTA 1회 시간 단계 SNN 대비 학습 시간이 약 19배 감소했으며, 비스파이크 DNN 수준에 가까워 보였다.