[논문 리뷰] Robust and accelerated single-spike spiking neural network training with applicability to challenging temporal tasks

Luke Taylor, Andrew P. King외 1명|arXiv (Cornell University)|2022. 05. 30.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 단일 스파이크 스파iking 신경망(SNNs)에 대해 빠르고 안정적이며 미분 가능한 학습 방법을 제안한다. 이 방법은 순차적인 시간 의존 연산을 병렬 처리 가능한 GPU 가속화 컨볼루션으로 대체하여, 최대 13.98배 빠른 학습과 다중 스파이크 SNN 대비 81% 감소한 스파이크 수를 달성하면서도, 조정 가능한 막막지수를 통해 어려운 시간적 뉴로모픽 데이터셋에서 다중 스파이크 SNN 성능을 재현한다.

ABSTRACT

Spiking neural networks (SNNs), particularly the single-spike variant in which neurons spike at most once, are considerably more energy efficient than standard artificial neural networks (ANNs). However, single-spike SSNs are difficult to train due to their dynamic and non-differentiable nature, where current solutions are either slow or suffer from training instabilities. These networks have also been critiqued for their limited computational applicability such as being unsuitable for time-series datasets. We propose a new model for training single-spike SNNs which mitigates the aforementioned training issues and obtains competitive results across various image and neuromorphic datasets, with up to a $13.98 imes$ training speedup and up to an $81\%$ reduction in spikes compared to the multi-spike SNN. Notably, our model performs on par with multi-spike SNNs in challenging tasks involving neuromorphic time-series datasets, demonstrating a broader computational role for single-spike SNNs than previously believed.

연구 동기 및 목표

• 일반적으로 매우 에너지 효율적인 단일 스파이크 스파iking 신경망(SNNs)에서 느리고 불안정한 학습이라는 핵심 과제를 해결한다.
• 단일 스파이크 SNN 학습에서 사라진 뉴런 문제를 극복하고, 정규화에 대한 민감한 설정을 제거한다.
• 이전에는 이러한 네트워크에 부적합하다고 여겨졌던 복잡한 시간적 과제, 예를 들어 뉴로모픽 시계열 데이터셋에서 단일 스파이크 SNN이 경쟁 가능한 성능을 낼 수 있도록 한다.
• 시냅스 가중치 이외의 다양한 아키텍처와 조정 가능한 파rameter를 지원하는 일반화 가능하고 완전히 미분 가능한 학습 프레임워크를 개발한다.

제안 방법

• 시간에 따라 순차적으로 진행되는 연산을 제거하고, 병렬 처리 가능한 컨볼루션 연산으로 대체하여 학습 속도를 향상시킨다.
• 스파이크 시간이 아닌 막 전위를 통해 전파되는 대체 기울기를 사용하여, 비미분 가능한 SNN에서도 안정적인 역전파를 가능하게 한다.
• 조정 가능한 막 시간 상수를 도입하여 뉴런이 다양한 시간 스케일에서 입력을 통합할 수 있도록 하여 시간 처리 능력을 향상시킨다.
• 전방향, 계층적, 컨볼루션 네트워크 아키텍처를 모두 지원하는 완전히 미분 가능한 학습 파이프라인을 설계한다.
• 배치 처리와 GPU 최적화된 연산을 적용하여 계산 효율성을 극대화하면서도 학습 안정성을 유지한다.
• 스파이크 기반 기울기 신호에 의존하지 않도록 하여, 초기에 활동이 없는 상태일 경우에도 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 단일 스파이크 SNN은 시간 의존성이 없는 순차적 연산 없이 효율적이고 안정적으로 학습될 수 있는가?
• RQ2 단일 스파이크 SNN은 SHD와 같은 복잡한 시간적 데이터셋에서 다중 스파이크 SNN과 유사한 성능을 달성할 수 있는가?
• RQ3 조정 가능한 막 시간 상수를 도입함으로써 단일 스파이크 SNN은 동적이고 시간에 따라 변하는 입력을 효과적으로 처리할 수 있는가?
• RQ4 GPU 병렬 처리가 가능한 연산을 사용하여 정확도를 희생시키지 않고 학습 과정을 크게 가속화할 수 있는가?
• RQ5 제안된 방법은 사라진 뉴런 문제에 강건하며 하이퍼파라미터 조정에 민감하지 않은가?

주요 결과

• 제안된 방법은 합성 벤치마크에서 최대 16.77배, 실제 데이터셋에서 최대 13.98배의 학습 속도 향상을 달성하며, 순차적 연산을 병렬 처리 가능한 컨볼루션으로 대체함으로써 달성된다.
• 모델은 다중 스파이크 SNN 대비 최대 81%의 스파이크 수 감소를 기록하면서도 모든 테스트된 이미지 및 뉴로모픽 데이터셋에서 경쟁 가능한 정확도를 유지한다.
• 기존의 단일 스파이크 학습 방법과 달리, 사라진 뉴런 문제에 강건하며 정규화에 대한 세심한 설정이 필요하지 않다.
• 조정 가능한 막 시간 상수의 도입으로 인해 단일 스파이크 SNN은 SHD 뉴로모픽 데이터셋과 같은 어려운 시간적 데이터셋에서 다중 스파이크 SNN과 동등한 성능을 낸다.
• 딥, 전방향, 계층적, 컨볼루션 네트워크를 포함한 다양한 아키텍처로 일반화 가능하여 광범위한 적용 가능성을 입증한다.
• 실험 결과, 초기 활동이 0인 네트워크 역시 효과적으로 학습됨을 확인하여, 방법의 안정성과 강건성을 검증한다.