[논문 리뷰] Convolutional Spike Timing Dependent Plasticity based Feature Learning in Spiking Neural Networks

Priyadarshini Panda, Gopalakrishnan Srinivasan외 1명|arXiv (Cornell University)|2017. 03. 10.

Advanced Memory and Neural Computing참고 문헌 22인용 수 14

한 줄 요약

이 논문은 생물학적으로 타당한 컨볼루션 스파iking 신경망(SNN)을 제안하며, 유도성 강하-적립-화염 신경망(LIF)을 사용하여 스파이크 시점 의존성 학습(STDP)을 통해 비지도 학습 방식으로 시각적 특징을 학습한다. 공유 가중치 커널을 도입함으로써 모델은 뛰어난 강건성과 희소성 확보를 달성했으며, 완전히 연결된 SNN보다 10배 적은 학습 예제로도 성능을 뛰어넘고, MNIST 숫자에 대해 뛰어난 집합 외 일반화 능력을 보였다.

ABSTRACT

Brain-inspired learning models attempt to mimic the cortical architecture and computations performed in the neurons and synapses constituting the human brain to achieve its efficiency in cognitive tasks. In this work, we present convolutional spike timing dependent plasticity based feature learning with biologically plausible leaky-integrate-and-fire neurons in Spiking Neural Networks (SNNs). We use shared weight kernels that are trained to encode representative features underlying the input patterns thereby improving the sparsity as well as the robustness of the learning model. We demonstrate that the proposed unsupervised learning methodology learns several visual categories for object recognition with fewer number of examples and outperforms traditional fully-connected SNN architectures while yielding competitive accuracy. Additionally, we observe that the learning model performs out-of-set generalization further making the proposed biologically plausible framework a viable and efficient architecture for future neuromorphic applications.

연구 동기 및 목표

• 완전히 연결된 SNN에 비해 시냅스 저장 용량과 학습 복잡도를 줄이는 더 효율적이고 생물학적으로 타당한 SNN 아키텍처를 개발하는 것.
• 공유 가중치 커널을 사용한 컨볼루션 STDP를 통해 SNN에서 비지도, 희소적이고 강건한 특징 학습을 가능하게 하는 것.
• 제한된 학습 데이터에서 계층적이고 불변하는 특징을 학습함으로써 일반화 능력, 특히 집합 외 일반화 능력을 향상시키는 것.
• 기존 SNN보다 훨씬 적은 학습 예제로도 경쟁 가능한 정확도를 달성할 수 있음을 보여주며, 인간에 가까운 소수의 예제 학습에 도달하는 것.

제안 방법

• 입력 패턴의 공간적 특징을 추출하기 위해 공유 가중치 커널을 사용하는 단일층 컨볼루션 SNN을 적용한다.
• 신경망은 생물학적으로 현실적인 스파iking 행동을 구현하기 위해 유도성 강하-적립-화염(LIF) 모델을 사용한다.
• 시냅스 가중치는 스파이크 시점 의존성 학습(STDP)을 통해 갱신되며, 이는 사전 및 사후 신호의 시점에 따라 연결을 강화하거나 약화시키는 생물학적으로 타당한 학습 규칙이다.
• 네트워크는 시간 코드를 사용하여 입력 패턴을 표현함으로써 레이블이 없는 데이터로도 비지도 학습이 가능하다.
• 특징 학습은 네트워크 전반의 스파이크 간 시간적 상관관계에 의해 이끌리며, 이로써 입력 데이터의 잠재적 패턴을 시스템이 탐지할 수 있다.
• 아키텍처는 본질적으로 공간적 및 회전 불변성을 포착하여 입력 변형에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 공유 가중치 커널과 STDP 학습을 사용하는 컨볼루션 SNN이 완전히 연결된 SNN보다 훨씬 적은 학습 예제로 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 제안된 SNN 아키텍처는 훈련 중에 존재하지 않은 새로운 클래스를 인식할 수 있는가? 즉, 집합 외 일반화 능력은 어느 정도 지원되는가?
• RQ3 완전히 연결된 STDP 기반 SNN에 비해 컨볼루션 STDP는 특징 표현과 강건성 향상에 어떤 영향을 미치는가?
• RQ4 제안된 SNN은 최소한의 레이블 데이터에서 주목할 만한 일반화 가능한 특징을 학습하면서도 에너지 효율성과 생물학적 타당성을 유지할 수 있는가?

주요 결과

• 제안된 컨볼루션 SNN은 '6'과 '7' 각각 10개의 예제로만 훈련한 후, 훈련에 포함되지 않은 MNIST 숫자 '9'와 '1'에 대해 94.4%의 정확도를 기록하여 강력한 집합 외 일반화 능력을 입증했다.
• '2'와 '8'로 훈련한 후 '0'과 '3'에 대해 테스트한 결과 74.6%의 정확도를 기록했으며, 이는 일반화 성공 여부가 훈련 및 테스트 패턴 간의 구조적 유사성에 의존한다는 것을 시사한다.
• '6'과 '7'로 훈련된 뉴런은 각각 '9'와 '1'에 대해 강한 스파이크 반응을 보였으며, 이는 클래스 간 공통의 추상적 특징을 학습했다는 것을 확인한다.
• 모델는 약 10배 적은 예제로 훈련되었음에도 불구하고, 전통적인 완전히 연결된 SNN보다 지속적으로 높은 인식 정확도를 기록했다.
• 공유 가중치 컨볼루션 아키텍처는 시냅스 저장 용량과 학습 복잡도를 감소시켜 효율성과 희소성 향상을 이뤘다.
• 새로운 클래스에 대한 일반화 능력은 STDP 기반 특징 학습이 시각 입력에 대한 불변성과 고수준 표현을 포착하고 있음을 시사한다.