[논문 리뷰] Efficient Computation in Adaptive Artificial Spiking Neural Networks

Davide Zambrano, Roeland Nusselder외 2명|arXiv (Cornell University)|2017. 10. 13.

Advanced Memory and Neural Computing참고 문헌 22인용 수 19

한 줄 요약

이 논문은 자동 조절 임계값을 사용하는 스파이크 시간 코딩을 통해 깊이 있는 인공신경망(ANN)과 유사한 높은 정확도를 달성하면서도, 평균적으로 스파ike 빈도를 한 단계 감소시키는 적응형 스파iking 신경망(AdSNN)을 제안한다. 빠른 적응 기반의 동적 임계값을 통해 스파이크 생성을 모델링함으로써, 생물학적으로 타당한 스파이크 활동을 유지하면서도 효율적이고 저빈도의 신경 코딩을 가능하게 한다.

ABSTRACT

Artificial Neural Networks (ANNs) are bio-inspired models of neural computation that have proven highly effective. Still, ANNs lack a natural notion of time, and neural units in ANNs exchange analog values in a frame-based manner, a computationally and energetically inefficient form of communication. This contrasts sharply with biological neurons that communicate sparingly and efficiently using binary spikes. While artificial Spiking Neural Networks (SNNs) can be constructed by replacing the units of an ANN with spiking neurons, the current performance is far from that of deep ANNs on hard benchmarks and these SNNs use much higher firing rates compared to their biological counterparts, limiting their efficiency. Here we show how spiking neurons that employ an efficient form of neural coding can be used to construct SNNs that match high-performance ANNs and exceed state-of-the-art in SNNs on important benchmarks, while requiring much lower average firing rates. For this, we use spike-time coding based on the firing rate limiting adaptation phenomenon observed in biological spiking neurons. This phenomenon can be captured in adapting spiking neuron models, for which we derive the effective transfer function. Neural units in ANNs trained with this transfer function can be substituted directly with adaptive spiking neurons, and the resulting Adaptive SNNs (AdSNNs) can carry out inference in deep neural networks using up to an order of magnitude fewer spikes compared to previous SNNs. Adaptive spike-time coding additionally allows for the dynamic control of neural coding precision: we show how a simple model of arousal in AdSNNs further halves the average required firing rate and this notion naturally extends to other forms of attention. AdSNNs thus hold promise as a novel and efficient model for neural computation that naturally fits to temporally continuous and asynchronous applications.

연구 동기 및 목표

• 기존 스파이킹 신경망(SNN)에서 높은 스파이크 빈도로 인한 비효율성 문제를 해결하기 위해, 생물학적 뉴런의 1~5 Hz 수준의 낮은 빈도와 대비되는 문제를 다루는 것.
• 심층 인공신경망(ANN)의 성능을 유지하면서도 훨씬 낮은 스파이크 빈도로 작동하는 스파이킹 신경망 아키텍처를 개발하는 것.
• 각성 기반 조절과 같은 적응 메커니즘을 통해 코딩 정밀도를 동적으로 제어하여, 필요한 스파이크 빈도를 추가로 감소시키는 것.
• ANN 유닛을 재학습 없이도 직접 스파이킹 뉴런으로 대체할 수 있도록 허용하는 분석적 전이 함수를 유도하는 것.

제안 방법

• 스파이크 유도 적응을 갖춘 적응형 스파이킹 뉴런(ASN) 모델을 사용하여, 각 스파이크 발생 후 감쇠 커널을 통해 스파이크 수준이 곱셈적으로 증가하는 임계값을 적용한다.
• 입력 크기를 스파이크 수로 코딩하는 스파이크 시간 코딩 방식을 사용하며, 스파이크 빈도는 매개변수 $ m_f $, $ heta_0 $, 스파이크 높이 $ h $ 로 동적으로 제어된다.
• 연속적인 활성도 $ S $ 를 정규화된 출력 $ y(S) $ 로 매핑하는 효과적 전이 함수 $ f(S) $ 의 분석적 표현을 유도하여, ANN 유닛을 스파이킹 뉴런으로 직접 교체할 수 있도록 한다.
• 선택된 입력에 대해서만 스파이크 빈도를 선택적으로 증가시키는 동적 '각성' 메커니즘을 도입하여, 전반적인 빈도 증가 없이도 코딩 정밀도를 향상시킨다.
• 후시냅스 전위(PSPs)를 지수 감쇠 커널 $ au_ heta, au_ ho, au_ u $ 를 사용하여 모델링하여, 재귀적 동적 시스템을 통한 효율적인 계산을 가능하게 한다.
• 전이 함수를 校정하여 $ S ≤ heta_0/2 $ 일 때 $ f(S) = 0 $ 이 되도록 하며, 원하는 활성화 임계값과 일치시키기 위해 보정 항 $ c $ 를 적용한다.

실험 결과

연구 질문

• RQ1 동적 임계값을 갖는 적응형 스파이킹 뉴런이 높은 정확도를 달성하면서도 훨씬 낮은 스파이크 빈도로 작동할 수 있는가?
• RQ2 연속적인 입력 값의 효율적이고 저빈도의 신경 표현을 가능하게 하기 위해 스파이크 시간 코딩을 어떻게 설계할 수 있는가? 생물학적 코딩 효율성을 모방할 수 있는가?
• RQ3 각성과 유사한 메커니즘을 통해 신경 코딩의 정밀도를 동적으로 제어할 수 있으며, 이는 스파이크 빈도와 정확도에 어떤 영향을 미치는가?
• RQ4 적응형 스파이킹 뉴런의 효과적 전이 함수는 어떤 분석적 형태를 가지며, 이를 통해 ANN 유닛을 SNN으로 직접 매핑할 수 있는가?
• RQ5 분류 정확도를 훼손하지 않으면서 스파이크 빈도를 얼마나 줄일 수 있으며, 이는 적응 매개변수와 네트워크 설계에 따라 어떻게 달라지는가?

주요 결과

• AdSNN은 MNIST, CIFAR-10, ImageNet 벤치마크에서 최신 SNN 성능과 동일하거나 이를 초월하면서도 평균적으로 10배 이상 적은 스파이크를 사용한다.
• AdSNN의 평균 스파이크 빈도는 1~5 Hz로 낮아졌으며, 이는 생물학적 뉴런의 빈도와 일치한다. 이는 이전 SNN의 수백 Hz 수준과 대비된다.
• 선택된 입력에 대해서만 스파이크 빈도를 증가시키는 각성 메커니즘을 도입함으로써 평균 스파이크 빈도가 추가로 50% 감소했으며, 성능 저하 없이 이루어졌다.
• 스파이크 타이밍과 적응 동역학에 기반한 유도된 전이 함수 $ f(S) $ 는 ANN 유닛을 적응형 스파이킹 뉴런으로 직접 교체할 수 있도록 하여 네트워크 성능를 유지한다.
• 시간 상수 $ au_ heta $ 를 변경하면 전이 함수의 형태에 영향을 미치며, 코딩 정밀도와 스파이크 효율성 사이의 트레이드오���을 가능하게 하며, 더 긴 $ au_ heta $ 는 필요한 스파이크 수를 감소시킨다.
• CIFAR-100과 LSVRC-2012에서 각성 방법은 초도 일시적인 성능 저하 후 분류 정확도 향상을 보이며, 동적 정밀도 제어의 효과를 입증했다.