[논문 리뷰] Loss shaping enhances exact gradient learning with Eventprop in spiking neural networks

Thomas Nowotny, James P. Turner외 1명|arXiv (Cornell University)|2022. 12. 02.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 정확한 기울기의 한계를 보완하기 위해 손실 함수에 가중치 함수를 도입한 '손실 형태 조정(loss shaping)' 기법을 도입함으로써 이벤트 전파(EventProp) 알고리즘을 확장하여 스파iking 신경망을 훈련시키는 데에 기여한다. 정확한 기울기가 스파이크 생성 또는 삭제 효과를 신호하지 못하는 본질적 한계를 해결함으로써, 학습의 안정성과 성능이 향상되며, SHD와 같은 도전적인 벤치마크에서 표준 EventProp가 실패하는 상황에서도 경쟁 가능한 정확도를 달성한다.

ABSTRACT

Event-based machine learning promises more energy-efficient AI on future neuromorphic hardware. Here, we investigate how the recently discovered Eventprop algorithm for gradient descent on exact gradients in spiking neural networks can be scaled up to challenging keyword recognition benchmarks. We implemented Eventprop in the GPU-enhanced Neural Networks framework and used it for training recurrent spiking neural networks on the Spiking Heidelberg Digits and Spiking Speech Commands datasets. We found that learning depended strongly on the loss function and extended Eventprop to a wider class of loss functions to enable effective training. We then tested a large number of data augmentations and regularisations as well as exploring different network structures; and heterogeneous and trainable timescales. We found that when combined with two specific augmentations, the right regularisation and a delay line input, Eventprop networks with one recurrent layer achieved state-of-the-art performance on Spiking Heidelberg Digits and good accuracy on Spiking Speech Commands. In comparison to a leading surrogate-gradient-based SNN training method, our GeNN Eventprop implementation is 3X faster and uses 4X less memory. This work is a significant step towards a low-power neuromorphic alternative to current machine learning paradigms.

연구 동기 및 목표

• 정확한 기울기가 스파이크 생성 또는 삭제 효과를 나타내지 못함으로써 발생하는 EventProp의 일부 학습 과제에서의 실패 원인을 해결하기 위해.
• 기존에 제한적인 수식으로만 정의된 EventProp의 손실 함수 범주를 더 넓은 범위로 확장하기 위해.
• 손실 적분에 가중치 함수를 도입함으로써 이전 레이어로의 기울기 흐름을 향상시키기 위해.
• 지연 인코딩된 MNIST와 스파이킹 하이델베르크 디지트(Spiking Heidelberg Digits, SHD) 데이터셋에서 손실 형태 조정이 적용된 확장된 EventProp의 실험적 평가를 수행하기 위해.
• 표준 EventProp가 실패하거나 느리게 학습하는 상황에서 손실 형태 조정이 안정적이고 효과적인 학습을 가능하게 함을 보여주기 위해.

제안 방법

• 저자들은 손실 적분 수식에 가중치 함수를 도입하여 EventProp를 더 넓은 손실 함수 범주를 다룰 수 있도록 확장함으로써 기울기 전파를 향상시켰다.
• GPU 가속을 위해 GeNN의 CUDA 백엔드를 사용하여 확장된 EventProp를 구현함으로써 대규모 SNN의 효율적 시뮬레이션을 가능하게 하였다.
• 정확한 신경세포가 스파이크를 발생시키지 못할 경우 기울기 가용성을 확보하기 위해 시간-첫스파이크 손실에 대해 유령 스파이크 정규화를 도입하였다.
• 숨은 레이어 정규화는 발화율 페널티 항목을 통해 수행되었으며, 이에 해당하는 점프는 수반된 방법 원리에 따라 역전파 단계에서 유도되었다.
• 입력 증강을 위해 무작위 이동을 적용함으로써 일반화 성능을 향상시켰으며, 가중치 갱신에는 Adam 최적화기 사용하였다.
• 계산 효율성을 높이기 위해 다음 미니배치의 전방전파와 함께 역전파를 교차 실행하였다.

실험 결과

연구 질문

• RQ1 정확한 기울기를 사용하고도 일부 과제에서 EventProp가 학습에 실패하는 이유는 무엇인가?
• RQ2 스파이크 생성 또는 삭제에 대한 기울기 정보가 부재할 경우 SNN의 학습 동역학에 어떤 영향을 미치는가?
• RQ3 '손실 형태 조정'을 통해 손실 함수를 수정하면 기울기 흐름과 학습 성능이 향상되는가?
• RQ4 EventProp와 조합했을 때 가장 효과적인 손실 함수 유형은 무엇인가?
• RQ5 손실 형태 조정은 SHD와 같은 도전적인 벤치마크에서 성능 향상에 어느 정도 기여하는가?

주요 결과

• 표준 손실 함수를 사용할 경우 EventProp는 스파이킹 하이델베르크 디지트(Spiking Heidelberg Digits, SHD) 데이터셋에서 스파이크 생성 및 삭제에 대한 기울기 정보가 부족하여 학습에 실패한다.
• 손실 함수의 정확한 기울기는 스파이크 생성 또는 삭제가 성능 향상에 기여할지 여부를 신호하지 않으며, 이로 인해 의도하지 않은 스파이크 삭제가 발생하고 손실이 증가한다.
• 손실 적분에 가중치 함수를 도입함으로써 손실 형태 조정이 출력층에서 이전 레이어로의 기울기 흐름을 성공적으로 향상시켜 학습을 안정화시킨다.
• 손실 형태 조정을 적용한 수정된 손실 함수는 SHD에서 경쟁 가능한 분류 정확도를 달성하며, 표준 EventProp를 능가한다.
• 유령 스파이크 정규화와 숨은 레이어 발화율 정규화가 학습 안정성과 수렴 성능을 크게 향상시켰다.
• 무작위 이동 증강이 일반화 성능 향상에 가장 효과적인 입력 증강 방법으로 확인되었으며, 다른 방법들은 유의미한 이점을 보이지 않았다.