[논문 리뷰] Deep Convolutional Spiking Neural Networks for Image Classification

Ruthvik Vaila, John Chiasson외 1명|arXiv (Cornell University)|2019. 03. 28.

Advanced Memory and Neural Computing인용 수 12

한 줄 요약

이 논문은 MNIST 및 N-MNIST 데이터셋에서 이미지 분류를 위한 레이트 기반 스파iking 타이밍 의존 학습(R-STDP)에 의해 훈련되는 딥 컨volution스피킹 신경망(SNN)을 제안한다. SNN은 특징을 SVM으로 분류함으로써 MNIST에서 98.8%의 정확도를 달성하며, 기존 백프로파게이션 네트워크에 비해 치명적 기억상실(catastrophic forgetting) 감소 및 가중치 초기화에 대한 민감도 감소를 보이며 에너지 효율성과 강건성을 입증한다.

ABSTRACT

Spiking neural networks are biologically plausible counterparts of the artificial neural networks, artificial neural networks are usually trained with stochastic gradient descent and spiking neural networks are trained with spike timing dependant plasticity. Training deep convolutional neural networks is a memory and power intensive job. Spiking networks could potentially help in reducing the power usage. There is a large pool of tools for one to chose to train artificial neural networks of any size, on the other hand all the available tools to simulate spiking neural networks are geared towards computational neuroscience applications and they are not suitable for real life applications. In this work we focus on implementing a spiking CNN using Tensorflow to examine behaviour of the network and empirically study the effect of various parameters on learning capabilities and also study catastrophic forgetting in the spiking CNN and weight initialization problem in R-STDP using MNIST and N-MNIST data sets.

연구 동기 및 목표

• 딥 컨volution스피킹 신경망을 레이트 기반 STDP(R-STDP)로 훈련하는 것이 이미지 분류에 가능할지 조사하기.
• 가중치 초기화, 횡방향 억제, 과도 훈련이 SNN의 학습 성능에 미치는 영향 평가하기.
• 기존 백프로파게이션과 SVM 기반 분류기와의 비교를 통해 R-STDP의 분류 정확도 및 안정성 분석하기.
• 표준 딥 네트워크와 비교해 스파킹 네트워크에서 치명적 기억상실이 어떻게 나타나는지 분석하기.
• MNIST 및 N-MNIST 데이터셋을 사용해 SNN의 수렴 행동과 최적 훈련 기간을 경험적으로 연구하기.

제안 방법

• 텐서플로우를 사용해 다중 컨볼루션 및 풀링 레이어를 포함한 딥 컨volution스피킹 신경망 아키텍처를 구현한다.
• 스파이크 타이밍 의존 학습(STDP)을 비지도 학습 규칙으로 적용하며, 사전- 및 후행 시냅스 스파이크 타이밍에 기반해 가중치를 갱신하는 단순화된 R-STDP 모델을 사용한다.
• 출력 스파이크는 합산된 후합성전위가 임계값 γ를 초과할 때 발생하는 막 전위 모델을 사용한다.
• 특징 추출은 L3 및 L4 레이어의 컨볼루션 커널을 통해 수행되며, 각 특징 맵 내의 뉴런 간에 가중치를 공유한다.
• 최종 컨볼루션 레이어에서 추출된 특징을 바탕으로 두 층의 백프로파게이션 네트워크 또는 SVM을 사용해 분류를 수행한다.
• 과도 훈련 여부를 감지하기 위해 수렴 인자와 훈련 단계 간의 가중치 변화 크기를 모니터링하여 수렴을 감시한다.

실험 결과

연구 질문

• RQ1 다양한 가중치 초기화 방법에 따라 딥 SNN에서 R-STDP 훈련 성능는 어떻게 변화하는가?
• RQ2 과도 훈련이 스파이킹 컨볼루션 네트워크의 분류 정확도에 얼마나 큰 영향을 미치는가?
• RQ3 표준 백프로파게이션 네트워크와 비교해 스파이킹 CNN에서 치명적 기억상실은 어떻게 나타나는가?
• RQ4 명시적 백프로파게이션 없이도 R-STDP가 MNIST 및 N-MNIST 데이터셋으로부터 복잡한 특징을 효과적으로 학습할 수 있는가?
• RQ5 SNN의 최적 훈련 기간은 무엇이며, 수렴은 어떻게 신뢰성 있게 감지할 수 있는가?

주요 결과

• SNN은 특징을 SVM으로 분류했을 때 MNIST 데이터셋에서 98.8%의 테스트 정확도를 달성했으며, 두 층의 백프로파게이션 네트워크를 초월했다.
• N-MNIST 데이터셋에서는 SVM 분류를 통해 98.32%의 정확도를 기록했으며, 스파이킹 데이터에서 뛰어난 성능을 보였다.
• SNN에서는 치명적 기억상실이 크게 감소했다: 두 개의 상이한 데이터셋에 대해 훈련한 후, 네트워크는 90.71%의 정확도를 유지했으며, 10%의 피니팅 데이터를 추가로 사용해 95.1%로 향상되었다.
• 과도 훈련은 테스트 정확도를 1~2% 감소시켰으며, 커널의 가중치 변화는 약 100개의 훈련 간격(n ≈ 100) 이후에야 안정화되어 조기 정지가 필요함을 시사했다.
• 수렴 인자가 n=80에서 n=100 사이에 급격히 감소하여 과도 훈련의 시작을 알리는 신호를 보였으며, 이는 훈련 수렴의 대체 지표로 사용되었다.
• R-STDP는 가중치 초기화에 매우 민감했으며, 부적절한 초기화는 최적의 특징 학습과 정확도 저하를 초래했다.