[논문 리뷰] Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal Learning of Deep Spiking Neural Network

Haowen Fang, Amar Shrestha외 2명|arXiv (Cornell University)|2020. 02. 19.

Advanced Memory and Neural Computing참고 문헌 25인용 수 9

한 줄 요약

이 논문은 깊이 있는 스파iking 신경망(SNNs)을 위한 새로운 훈련 프레임워크를 제안하며, 뉴런과 시냅스를 일관된 임펄스 응답(IIR) 필터로 모델링하여 시간적 동역학을 활용한다. 합성 시냅스 가중치와 필터 임펄스 응답 커널을 동시에 최적화함으로써, MNIST(99.46%), NMNIST(99.39%), DVS128(96.09%), TIDIGITS(99.13%) 및 호주 신호어(98.21%)와 같은 시계열 데이터셋에서 최신 기준 성능을 달성하며, 기존의 SNN 및 DNN 기준선을 능가한다.

ABSTRACT

The recent discovered spatial-temporal information processing capability of bio-inspired Spiking neural networks (SNN) has enabled some interesting models and applications. However designing large-scale and high-performance model is yet a challenge due to the lack of robust training algorithms. A bio-plausible SNN model with spatial-temporal property is a complex dynamic system. Each synapse and neuron behave as filters capable of preserving temporal information. As such neuron dynamics and filter effects are ignored in existing training algorithms, the SNN downgrades into a memoryless system and loses the ability of temporal signal processing. Furthermore, spike timing plays an important role in information representation, but conventional rate-based spike coding models only consider spike trains statistically, and discard information carried by its temporal structures. To address the above issues, and exploit the temporal dynamics of SNNs, we formulate SNN as a network of infinite impulse response (IIR) filters with neuron nonlinearity. We proposed a training algorithm that is capable to learn spatial-temporal patterns by searching for the optimal synapse filter kernels and weights. The proposed model and training algorithm are applied to construct associative memories and classifiers for synthetic and public datasets including MNIST, NMNIST, DVS 128 etc.; and their accuracy outperforms state-of-art approaches.

연구 동기 및 목표

• 스파티오토포럴 패턴을 효과적으로 포착할 수 있는 강력하고 생물학적으로 타당한 훈련 알고리즘이 부족한 대규모 SNN을 해결하기 위해.
• 레이트 기반 코딩의 한계를 극복하기 위해, 스파이크 트레인의 시간적 구조를 동적 시냅스 및 뉴런 모델을 통해 활용하기 위해.
• 깊이 있는 SNN에서 합성 시냅스 가중치와 필터 임펄스 응답 커널을 동시에 엔드 투 엔드로 학습시켜 스파티오토포럴 패턴 인식을 향상시키기 위해.
• 특정 데이터 전처리나 전용 회로가 필요 없이 다양한 SNN 아키텍처와 데이터셋에 일반화 가능한 훈련 프레임워크를 개발하기 위해.

제안 방법

• SNN은 뉴런의 막 잠근 동역학과 시냅스 필터링 효과를 모두 모델링하는 무한 임펄스 응답(IIR) 필터의 네트워크로 공식화된다.
• 뉴런 모델은 이중 지수 시냅스를 갖춘 누설 적분-화염(LIF) 공식을 사용하며, 막 전위와 시냅스 전류에 대한 연속 시간 미분방정식으로 표현된다.
• 합성 가중치와 시냅스의 임펄스 응답 커널을 동시에 최적화할 수 있는 미분 가능한 훈련 알고리즘이 유도되었으며, 기울기 기반 학습이 가능해졌다.
• IIR로 필터링된 SNN의 시간적 동역학을 펼쳐서 역전파를 시간에 따라 적용(BPTT)함으로써 엔드 투 엔드 훈련이 가능해졌다.
• 스파이크 인코딩은 연속 입력 신호를 실시간으로 시간에 따라 변하는 스파이크 트레인으로 변환하는 전류 기반 LIF 뉴런을 사용하여 수행된다.
• 이 프레임워크는 시각 및 시계열 데이터셋에서 분류 작업을 위한 피드포워드 및 스택드 아키텍처에 적용되었다.

실험 결과

연구 질문

• RQ1 뉴런과 시냅스를 IIR 필터로 모델링하는 것이 깊이 있는 SNN에서 스파티오토포럴 패턴 학습을 향상시키는가?
• RQ2 합성 가중치와 필터 임펄스 응답 커널을 동시에 최적화하면 고정 커널 방식보다 더 나은 일반화 및 수렴 성능을 보이는가?
• RQ3 제안된 방법은 데이터 전처리 없이 MNIST, NMNIST, DVS128, TIDIGITS, 호주 신호어와 같은 벤치마크 데이터셋에서 최고 성능을 달성할 수 있는가?
• RQ4 학습된 시냅스 필터 커널은 표준 고정 커널 대비 시간 기억 능력과 성능 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 MNIST에서 99.46%의 정확도를 달성하여 최신 기준 SNN 및 DNN 기준선을 능가했다.
• 동적 NMNIST 데이터셋에서 99.39%의 정확도를 기록했으며, 시냅스 필터 커널을 학습시킬 경우 0.15% 향상되었다.
• DVS128 손동작 인식 데이터셋에서 필터 커널 학습으로 정확도가 94.14%에서 96.09%로 향상되었고, 수렴 속도도 빨라졌다.
• 시계열 분류 작업에서는 TIDIGITS에서 99.13%의 정확도와 호주 신호어에서 98.21%의 정확도를 기록하여 SNN 및 DNN 기준선을 모두 초월했다.
• 학습된 시냅스 임펄스 응답 커널은 표준 커널보다 더 느린 감쇠를 보이며, LSTM 게이트와 유사한 강화된 시간 기억 능력을 나타냈다.
• 이 방법은 데이터 전처리, 전용 뉴런 회로, 출력층 WTA 메커니즘을 필요로 하지 않아, 스파이크 스트림을 직접 입력할 수 있다.