[논문 리뷰] Bio-Inspired Spiking Convolutional Neural Network using Layer-wise Sparse Coding and STDP Learning

Amirhossein Tavanaei, Anthony S. Maida|arXiv (Cornell University)|2016. 11. 09.

Advanced Memory and Neural Computing참고 문헌 46인용 수 60

한 줄 요약

이 논문은 희박 코딩과 확률적 스파iking 타이밍 의존성 가소성(STDP)를 사용한 계층별 비지도 학습을 통해 훈련되는 생물학적으로 영감을 받은 스파이크 컨볼루션 신경망을 제안한다. MNIST에서 98.36%의 정확도를 달성하며, 노이즈에 대한 강건성과 스택 가능하고 생물학적으로 타당한 계층적 특징 학습을 보여준다.

ABSTRACT

Hierarchical feature discovery using non-spiking convolutional neural networks (CNNs) has attracted much recent interest in machine learning and computer vision. However, it is still not well understood how to create a biologically plausible network of brain-like, spiking neurons with multi-layer, unsupervised learning. This paper explores a novel bio-inspired spiking CNN that is trained in a greedy, layer-wise fashion. The proposed network consists of a spiking convolutional-pooling layer followed by a feature discovery layer extracting independent visual features. Kernels for the convolutional layer are trained using local learning. The learning is implemented using a sparse, spiking auto-encoder representing primary visual features. The feature discovery layer extracts independent features by probabilistic, leaky integrate-and-fire (LIF) neurons that are sparsely active in response to stimuli. The layer of the probabilistic, LIF neurons implicitly provides lateral inhibitions to extract sparse and independent features. Experimental results show that the convolutional layer is stack-admissible, enabling it to support a multi-layer learning. The visual features obtained from the proposed probabilistic LIF neurons in the feature discovery layer are utilized for training a classifier. Classification results contribute to the independent and informative visual features extracted in a hierarchy of convolutional and feature discovery layers. The proposed model is evaluated on the MNIST digit dataset using clean and noisy images. The recognition performance for clean images is above 98%. The performance loss for recognizing the noisy images is in the range 0.1% to 8.5% depending on noise types and densities. This level of performance loss indicates that the network is robust to additive noise.

연구 동기 및 목표

• 백프로파게이션을 피하고 국소 학습 규칙을 사용하는 생물학적으로 타당한 다중 계층 스파이크 CNN을 개발하는 것.
• 국소적이고 비지도 학습 메커니즘을 사용해 컨볼루션 계층과 특징 탐지 계층을 직접 훈련할 수 있도록 하는 것.
• 원소프리메이트 볼루션 시각 흐름을 모방하는 계층적 특징 추출을 위한 스택 가능 네트워크 아키텍처를 확보하는 것.
• 확률적 막 전위 정규화와 희박 코딩을 통해 추가 노이즈에 대한 강건성을 향상시키는 것.
• 생물학적으로 타당한 학습 방식으로만 훈련된 스파이크 네트워크를 사용해 MNIST에서 높은 분류 성능를 달성하는 것

제안 방법

• 국소 학습을 사용하는 희박한 스파이크 오토인코더를 통해 컨볼루션 필터를 훈련하여, V1 단순 세포와 유사한 수용 영역을 생성한다.
• 특징 탐지 계층에서 확률적 리크리프 인티그레이트-앤타이어(LIF) 뉴런 모델을 사용해 독립적인 시각적 특징을 추출한다.
• 막 전위와 발화 확률을 조합한 확률적 STDP 학습 규칙을 적용하여 강건하고 희박한 특징 학습을 가능하게 한다.
• 확률적 뉴런 동역학을 통한 횡방향 억제를 적용해 특징 표현의 희박성과 독립성을 강화한다.
• 탐욕적이고 계층별 훈련을 구현: 먼저 컨볼루션-풀링 계층을 훈련한 후, 그 출력을 특징 탐지 계층의 입력으로 사용한다.
• 풀링 계층의 스파이크 트레인을 입력 이미지의 노이즈 제거된 희박한 표현으로 활용하여 노이즈에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 백프로파게이션 없이 국소적 비지도 학습 규칙만을 사용해 스파이크 CNN을 훈련시킬 수 있는가?
• RQ2 컨볼루션 계층과 특징 탐지 계층이 모두 생물학적으로 타당한 메커니즘을 통해 훈련되면서도 계층적 특징 추상화를 유지할 수 있는가?
• RQ3 확률적 STDP와 확률적 LIF 뉴런을 사용할 경우, 결정적 대안 대비 특징의 독립성과 노이즈에 대한 강건성이 향상되는가?
• RQ4 제안된 네트워크는 스택 가능성이 있는가? 즉, 계층별 훈련을 통해 더 깊은 아키텍처를 구축할 수 있는가?
• RQ5 노이즈가 있는 MNIST 데이터에서 네트워크의 성능은 어떠한가? 다양한 노이즈 유형과 밀도에서 성능 저하 정도는 얼마나 되는가?

주요 결과

• 제안된 스파이크 CNN은 전체 MNIST 데이터셋에서 98.36%의 분류 정확도를 달성하여 이전의 여러 스파이크 네트워크 접근 방식을 능가했다.
• 초기 실험에서 청소년 MNIST 이미지에서 정확도가 최대 97.5%에 이르렀으며, 효과적인 특징 학습을 확인했다.
• 네트워크는 추가 노이즈에 대해 강건성을 보였으며, 노이즈 유형과 밀도에 따라 성능 저하가 0.1%에서 8.5% 사이로 변동했다.
• 확률적 LIF 뉴런과 확률적 STDP를 사용한 특징 탐지 계층은 시그모이드 STDP 또는 억제 없이 사용한 버전보다 성능이 뛰어났다.
• 컨볼루션 계층은 V1 수용 영역와 유사한 희박하고 독립적인 시각적 특징을 생성하여 생물학적 타당성과 스택 가능성의 확인을 받았다.
• 풀링 계층에서 유도된 스파이크 기반 표현은 노이즈 제거 기능을 수행하여 입력 손상에 대한 강건성을 향상시켰다.