[논문 리뷰] Developing a supervised training algorithm for limited precision feed-forward spiking neural networks

Evangelos Stromatias|arXiv (Cornell University)|2011. 09. 13.

Advanced Memory and Neural Computing참고 문헌 37인용 수 5

한 줄 요약

이 논문은 유전자 알고리즘을 사용하여 순방향 전파 스파iking 신경망의 초점 학습 알고리즘을 제안하며, 제한된 정밀도(가중치에 3비트, 지연에 3비트)로 시냅스 가중치와 지연을 최적화한다. XOR 및 피셔 아카이브 분류 작업에서 스파이크프롭, 퀵프롭, R프롭보다 뛰어난 성능을 달성하였으며, 마이크로컨트롤러에 성공적으로 하드웨어 구현되어 에너지 효율적인 뉴로모픽 컴퓨팅 잠재력을 입증한다.

ABSTRACT

Spiking neural networks have been referred to as the third generation of artificial neural networks where the information is coded as time of the spikes. There are a number of different spiking neuron models available and they are categorized based on their level of abstraction. In addition, there are two known learning methods, unsupervised and supervised learning. This thesis focuses on supervised learning where a new algorithm is proposed, based on genetic algorithms. The proposed algorithm is able to train both synaptic weights and delays and also allow each neuron to emit multiple spikes thus taking full advantage of the spatial-temporal coding power of the spiking neurons. In addition, limited synaptic precision is applied; only six bits are used to describe and train a synapse, three bits for the weights and three bits for the delays. Two limited precision schemes are investigated. The proposed algorithm is tested on the XOR classification problem where it produces better results for even smaller network architectures than the proposed ones. Furthermore, the algorithm is benchmarked on the Fisher iris classification problem where it produces higher classification accuracies compared to SpikeProp, QuickProp and Rprop. Finally, a hardware implementation on a microcontroller is done for the XOR problem as a proof of concept. Keywords: Spiking neural networks, supervised learning, limited synaptic precision, genetic algorithms, hardware implementation.

연구 동기 및 목표

• 제한된 시냅스 정밀도를 지원하는 스파iking 신경망을 위한 지도 학습 알고리즘 개발.
• 단일 최적화 프레임워크를 사용하여 시냅스 가중치와 지연을 동시에 학습 가능하게 하기.
• 신경세포가 입력당 다수의 스파이크를 방출할 수 있도록 허용함으로써 시간 코드를 활용하기.
• 스파이크프롭, 퀵프롭, R프롭과 같은 기존 백프로파게이션 방법과의 성능 비교.
• 실제 적용 가능성 검증을 위해 마이크로컨트롤러에 기반한 하드웨어 구현을 통한 검증.

제안 방법

• 유전자 알고리즘이 순방향 전파 스파킹 신경망의 시냅스 가중치와 지연을 진화시키는 데 사용된다.
• 시냅스는 6비트로 표현되며, 3비트는 가중치, 3비트는 지연을 위해 사용되어 제한된 정밀도 학습이 가능하다.
• 신경망은 시간 코드를 사용하며, 정보를 인코딩하기 위해 뉴런이 다수의 스파이크를 방출할 수 있다.
• 적합도 평가 기준은 분류 정확도이며, 오차 최소화가 진화적 선택을 이끈다.
• 성능 평가를 위해 유전 알고리즘이 XOR 및 피셔 아카이브 데이터셋에 적용된다.
• 실시간 실행 가능성과 저전력 작동을 입증하기 위해 마이크로컨트롤러에 하드웨어 프로토타입이 구현된다.

실험 결과

연구 질문

• RQ1 유전자 알고리즘이 제한된 정밀도의 가중치와 지연을 가진 스파킹 신경망을 효과적으로 학습시킬 수 있는가?
• RQ2 뉴런당 다수의 스파이크를 허용함으로써 스파킹 네트워크의 분류 성능이 향상되는가?
• RQ3 스파이크프롭, 퀵프롭, R프롭과 같은 백프로파게이션 기반 방법과 비교했을 때 제안된 방법의 정확도와 효율성은 어떠한가?
• RQ4 학습된 네트워크가 저전력 마이크로컨트롤러에 성공적으로 구현될 수 있는가?
• RQ5 시냅스 정밀도를 감소시킨(6비트 표현) 영향은 네트워크 성능에 어떠한가?

주요 결과

• 제안된 알고리즘은 더 작은 네트워크 크기임에도 불구하고, 이전에 보고된 아키텍처보다 XOR 문제에서 더 나은 분류 결과를 달성한다.
• 피셔 아카이브 데이터셋에서, 이 방법은 스파이크프롭, 퀵프롭, R프롭보다 분류 정확도에서 뛰어난 성능을 보인다.
• 뉴런당 다수의 스파이크 사용은 시간 코드를 활용하여 성능 향상 능력을 네트워크에 향상시킨다.
• 알고리즘은 동시에 가중치와 지연을 학습하여 표현 능력을 증가시킨다.
• 마이크로컨트롤러에 대한 하드웨어 구현은 저전력 임베디드 시스템에 학습된 네트워크를 구현할 수 있음을 확인한다.
• 6비트 정밀도 체계(가중치 3비트, 지연 3비트)는 높은 성능을 유지하여 초저정밀도 스파킹 네트워크의 실현 가능성을 입증한다.