[논문 리뷰] Fast and Efficient Asynchronous Neural Computation with Adapting Spiking Neural Networks

Davide Zambrano, Sander M. Bohté|arXiv (Cornell University)|2016. 09. 07.

Advanced Memory and Neural Computing참고 문헌 3인용 수 43

한 줄 요약

이 논문은 넓은 범위의 활성화 값을 희박하고 비동기적인 스파이크로 표현할 수 있도록 동적 적응을 갖춘 스파iking 뉴런을 사용하는 적응형 스파이킹 신경망(ASNNs)을 제안한다. 신경 적응과 시냅스 가소성을 결합함으로써, ASNNs는 ReLU 기반의 ANN과 동일한 성능을 달성하면서도 최대 10배 적은 스파이크를 사용하고, 최대 10배 빠르게 반응하여 생물학적으로 타당한 코딩 원칙을 바탕으로 효율적이고 이벤트 기반의 계산을 가능하게 한다.

ABSTRACT

Biological neurons communicate with a sparing exchange of pulses - spikes. It is an open question how real spiking neurons produce the kind of powerful neural computation that is possible with deep artificial neural networks, using only so very few spikes to communicate. Building on recent insights in neuroscience, we present an Adapting Spiking Neural Network (ASNN) based on adaptive spiking neurons. These spiking neurons efficiently encode information in spike-trains using a form of Asynchronous Pulsed Sigma-Delta coding while homeostatically optimizing their firing rate. In the proposed paradigm of spiking neuron computation, neural adaptation is tightly coupled to synaptic plasticity, to ensure that downstream neurons can correctly decode upstream spiking neurons. We show that this type of network is inherently able to carry out asynchronous and event-driven neural computation, while performing identical to corresponding artificial neural networks (ANNs). In particular, we show that these adaptive spiking neurons can be drop in replacements for ReLU neurons in standard feedforward ANNs comprised of such units. We demonstrate that this can also be successfully applied to a ReLU based deep convolutional neural network for classifying the MNIST dataset. The ASNN thus outperforms current Spiking Neural Networks (SNNs) implementations, while responding (up to) an order of magnitude faster and using an order of magnitude fewer spikes. Additionally, in a streaming setting where frames are continuously classified, we show that the ASNN requires substantially fewer network updates as compared to the corresponding ANN.

연구 동기 및 목표

• 현재 SNN이 ANN 성능을 따라잡기 위해 높은 발화 빈도를 요구하는 비효율성 문제를 해결하기 위해.
• 최소한의 스파이크 사용으로 비동기적이고 이벤트 기반의 계산을 지원하는 생물학적으로 타당한 스파이킹 신경망을 개발하기 위해.
• 표준 딥 뉴럴 네트워크에서 ReLU 뉴런을 적응형 스파이킹 뉴런으로 즉시 교체할 수 있도록 하기 위해.
• 적응형 스파이킹 뉴런이 스파이크 수를 크게 줄이면서도 높은 정확도를 유지할 수 있도록 하기 위해.
• 신경 적응과 시냅스 가소성이 엄격하게 결합되어 계층 간의 신호 복원이 정확히 이루어지도록 하는 프레임워크를 구축하기 위해.

제안 방법

• 내부 활성 수준에 따라 스파이크 임계값을 동적으로 조정할 수 있도록 스파이킹 뉴런에 곱셈 형태의 적응 모델을 도입한다.
• 반복적 핵심 역동성에 기반한 비동기 펄스 시그마-델타 변조(APSDM) 방식을 적용하여 스파이크 시점이 아날로그 값을 코딩하도록 한다.
• 과거 스파이크 시간을 저장하지 않고도 막대 전위와 적응 상태를 계산하기 위해 γ 및 η 커널을 사용한 동적 시스템 수식을 적용한다.
• 하류 뉴런이 적응하는 전조 뉴런으로부터 온 신호를 정확히 복원할 수 있도록 시냅스 가소성과 신경 적응을 밀접하게 결합한다.
• 재가중치 조정이나 정규화 없이도 피드포워드 및 컨볼루션 신경망에서 ReLU 유닛을 직접적으로 교체할 수 있도록 ASNN을 적용한다.
• 스파이크 기반 신호 표현의 동적 범위를 연장하기 위해 적응형 임계값을 갖춘 누설-적분-화염 모델을 사용한다.

실험 결과

연구 질문

• RQ1 동적 적응을 갖춘 스파이킹 뉴런이 훨씬 적은 스파이크를 사용하면서도 ReLU 기반의 ANN과 동일한 성능을 달성할 수 있는가?
• RQ2 신경 적응을 어떻게 시냅스 가소성과 통합하여 상류 스파이킹 신호의 정확한 복원을 보장할 수 있는가?
• RQ3 적응형 스파이킹 뉴런은 아키텍처나 가중치 수정 없이도 표준 딥 네트워크에서 ReLU 뉴런의 즉시 교체가 가능한가?
• RQ4 제안된 ASNN 패러다임은 스트리밍 추론 작업에서 네트워크 업데이트와 스파이크 수를 어느 정도 줄일 수 있는가?
• RQ5 적응형 스파이킹 뉴런을 기반으로 한 APSDM 코딩 방식은 효율적이고 비동기적이며 희박한 신경 계산을 지원하는가?

주요 결과

• ASNN는 MNIST 및 기타 벤치마크 데이터셋에서 해당하는 ReLU 기반 ANN과 동일한 분류 성능를 달성한다.
• 포isson 스파이킹 뉴런을 사용하는 SNN보다 최대 10배 적은 스파이크를 사용하면서도 정확도를 유지하거나 향상시킨다.
• 희박하고 이벤트 기반의 계산 및 감소된 스파이크 트래픽 덕분에 동일한 SNN보다 최대 10배 빠르게 반응한다.
• 스트리밍 환경에서, 비동기적이고 희박한 활성화 덕분에 해당하는 ANN보다 상당히 적은 네트워크 업데이트가 필요하다.
• ReLU 유닛을 적응형 스파이킹 뉴런으로 교체할 때 재가중치 조정이나 정규화가 필요로 하지 않아, 즉시 교체 가능성(드롭인 호환성)을 확인했다.
• 제안된 ASNN 모델은 동적 적응과 반복적 핵심 역동성을 활용하여 효율적이고 국소적이며 비동기적 계산을 지원한다.