[논문 리뷰] The fine line between dead neurons and sparsity in binarized spiking neural networks

Jason K. Eshraghian, Wei Lü|arXiv (Cornell University)|2022. 01. 28.

Advanced Memory and Neural Computing인용 수 18

한 줄 요약

이 논문은 이진화된 스파iking 신경망(BSNNs)에서 스파이크 활동과 동적 범위 사이의 균형을 맞추기 위해 점차 증가하는 발화 임계값을 사용하는 임계값 안내 전략을 제안한다. 초기에는 네트워크 활동을 가능하게 하고, 후기에는 고정밀도 상태 누적을 가능하게 함으로써 사망 신경세포 수를 71% 감소시키며, 전용 이진화된 가중치만을 사용하여 네 가지 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Spiking neural networks can compensate for quantization error by encoding information either in the temporal domain, or by processing discretized quantities in hidden states of higher precision. In theory, a wide dynamic range state-space enables multiple binarized inputs to be accumulated together, thus improving the representational capacity of individual neurons. This may be achieved by increasing the firing threshold, but make it too high and sparse spike activity turns into no spike emission. In this paper, we propose the use of `threshold annealing' as a warm-up method for firing thresholds. We show it enables the propagation of spikes across multiple layers where neurons would otherwise cease to fire, and in doing so, achieve highly competitive results on four diverse datasets, despite using binarized weights. Source code is available at https://github.com/jeshraghian/snn-tha/

연구 동기 및 목표

• 이진화된 스파이킹 신경망(BSNNs)에서 높은 임계값이 발화를 억제하고 낮은 임계값이 표현 능력을 제한하는 스파이크 활동과 동적 범위 사이의 상충관계를 해결하기 위해.
• 학습 중에 완전히 발화를 멈춘 신경세포(사망 신경세포)의 수를 줄이기 위해, 이는 기울기 흐름을 방해하고 수렴 속도를 저하시킨다.
• 가중치 정밀도를 증가시키지 않고도 BSNN의 학습 효율성과 정확도를 향상시키기 위해 학습 중에 발화 임계값을 동적으로 조정함으로써.
• 초기 계층에서 충분한 활동을 유지하면서도 후기 단계에서 고정밀도 상태 누적을 활용할 수 있도록 함으로써, 희박하게 활성화된 네트워크를 효과적으로 백프로파게이션할 수 있도록 하기 위해.

제안 방법

• 임계값 안내 전략을 도입: 학습 반복 동안 발화 임계값 θ를 낮은 값에서 시작하여 점차 더 높은 안정 상태 값으로 증가시키는 웜업 기법.
• 추론 시에는 고정 임계값을 사용하며, 이는 학습 과정에서 도달한 최종 임계값에서 유도되며, 최소한의 메모리 오버헤드(층당 하나의 정밀도 값)를 보장한다.
• 기울기 간섭을 방지하기 위해 학습 루프 외부에서 임계값 업데이트를 수행하는 표준 백프로파게이션 프레임워크 내에서 방법을 적용.
• 상태공간 정밀도의 자연스러운 진행 방식을 모방하는 동적 범위(DR) 진화 전략을 사용하여, 초기 활동과 후기 단계의 누적 간 균형을 맞춘다.
• 누설 적분-화이어 동역학을 갖는 스파iking 뉴런 모델을 활용하며, 막 전위 u^j_t가 θ를 초과할 경우에만 스파이크를 방출한다.
• 이진화된 가중치 w^ij ∈ {−1, 1}과 이진 활성화 z^i_t ∈ {0, 1}을 사용하며, 시냅스 후 잠재적 x^j_t+1 ∈ {−1, 0, 1}을 통해 효율적인 계산과 메모리 절약을 실현한다.

실험 결과

연구 질문

• RQ1 동적 임계값 조정 전략은 이진화된 스파이킹 신경망에서 학습 수렴과 정확도 향상에 기여하는가?
• RQ2 고정 임계값 학습 대비 임계값 안내 전략이 BSNN에서 사망 신경세포의 수를 얼마나 줄이는가?
• RQ3 시간이 지남에 따라 임계값을 점차 증가시키는 웜업 전략은 전체 정밀도 가중치가 필요 없이도 스파이크 활동과 동적 범위를 균형 있게 조절할 수 있는가?
• RQ4 임계값 안내 전략은 입력의 희박성과 시간 동적 특성이 다양한 다양한 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ5 임계값 안내 전략은 낮은 메모리 오버헤드와 하드웨어 효율성을 유지하면서도 경쟁 가능한 정확도를 BSNN에서 달성할 수 있는가?

주요 결과

• SHD 데이터셋에서 임계값 안내 전략은 고정 임계값 BSNN 대비 사망 신경세포 수를 71% 감소시켰으며, 이는 학습 수렴을 크게 향상시켰다.
• DVS128 Gesture 데이터셋에서 제안된 BSNN은 이진화된 가중치 98 Kbits만을 사용해 91.3%의 정확도를 달성했으며, 8.4 Mbits의 전용 정밀도 네트워크(82.1%)를 초월했다.
• CIFAR-10 데이터셋에서 이 방법은 이진화된 가중치 12 Kbits만으로 87.9%의 정확도를 기록했으며, 794 Kbits의 전용 정밀도 NH 모델(87.3%)을 뛰어넘었다.
• 이 방법은 이진화된 가중치만을 사용하고 최소한의 메모리 오버헤드를 유지함에도 불구하고, 테스트한 네 가지 데이터셋(CIFAR-10, SVHN, DVS128 Gesture, SHD)에서 모두 최신 기술 성능(SOTA)을 달성했다.
• 최종 임계값 θ_γ는 항상 안정 상태 임계값 θ_∞와 0.1% 이내로 일치하여, 추론 시 재학습이나 校정 없이도 θ_∞를 직접 사용할 수 있었다.
• 스파이크 활동 분포가 크게 향상되었으며, 임계값 안내 전략을 사용할 경우 SHD에서 첫 번째 및 마지막 계층의 약 20%의 신경세포만이 사망 상태였지만, 고정 임계값 기반 기준에서는 각각 55%와 90%에 달했다.