[논문 리뷰] Finite Meta-Dynamic Neurons in Spiking Neural Networks for Spatio-temporal Learning

Xiang Cheng, Tielin Zhang외 2명|arXiv (Cornell University)|2020. 10. 07.

Advanced Memory and Neural Computing참고 문헌 39인용 수 10

한 줄 요약

이 논문은 스파iking 신경망(SNNs)에서 1차 및 2차 막 전위 동역학을 공간적 및 시간적 메타뉴런 유형에 통합함으로써 시공간 학습을 향상시키기 위해 유한한 메타-동적 뉴런(MDNs)을 제안한다. MDNs는 STDP와 같은 생물학적으로 타당한 학습 규칙을 사용하여 MNIST, 패션-MNIST, TIDigits, TIMIT, N-MNIST 등 다양한 데이터셋에서 최신 기술(SOTA) SNN과 비교해 유사하거나 뛰어난 정확도와 더 나은 일반화 성능을 달성한다.

ABSTRACT

Spiking Neural Networks (SNNs) have incorporated more biologically-plausible structures and learning principles, hence are playing critical roles in bridging the gap between artificial and natural neural networks. The spikes are the sparse signals describing the above-threshold event-based firing and under-threshold dynamic computation of membrane potentials, which give us an alternative uniformed and efficient way on both information representation and computation. Inspired from the biological network, where a finite number of meta neurons integrated together for various of cognitive functions, we proposed and constructed Meta-Dynamic Neurons (MDN) to improve SNNs for a better network generalization during spatio-temporal learning. The MDNs are designed with basic neuronal dynamics containing 1st-order and 2nd-order dynamics of membrane potentials, including the spatial and temporal meta types supported by some hyper-parameters. The MDNs generated from a spatial (MNIST) and a temporal (TIDigits) datasets first, and then extended to various other different spatio-temporal tasks (including Fashion-MNIST, NETtalk, Cifar-10, TIMIT and N-MNIST). The comparable accuracy was reached compared to other SOTA SNN algorithms, and a better generalization was also achieved by SNNs using MDNs than that without using MDNs.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNNs)의 한계, 즉 낮은 해석 가능성, 점진적 학습 능력 부족, 비생물학적 학습 규칙 등을 해결하기 위해.
• 자연 신경 시스템에서 영감을 얻은 생물학적으로 타당한 뉴런 동역학과 구조적 다양성을 통합하여 SNN을 향상시키기 위해.
• 다양한 동적 행동을 가진 유한한 메타뉴런 집합을 도입함으로써 시공간 학습 과제에서 네트워크의 일반화 능력과 효율성을 향상시키기 위해.
• 뇌의 효율적인 다형 처리를 모방하기 위해 뉴런 수준과 네트워크 수준에서 복잡성의 균형을 이루는 뉴런 모델을 개발하기 위해.

제안 방법

• 1차 및 2차 막 전위 동역학을 갖춘 메타-동적 뉴런(MDNs)을 제안하여 공간적(예: MNIST) 및 시간적(예: TIDigits) 정보 처리를 가능하게 한다.
• 강한 공간적 표현을 위해 1차 동역학을 갖는 공간적 MDNs(SMDNs)와 시간적 순서 모델링을 위해 2차 동역학을 갖는 시간적 MDNs(TMDNs)를 설계한다.
• 스피크 타이밍 의존성 플라스티시티(STDP)와 같은 생물학적으로 타당한 학습 규칙을 사용하여 MDNs를 학습하며, 초모수는 동역학적 행동을 조절한다.
• 얕은 3층 아키텍처를 사용하여 패션-MNIST, NETtalk, CIFAR-10, TIMIT, N-MNIST 등 다양한 시공간 과제에 대해 자가 학습된 MDNs를 적용한다.
• TIDigits 및 TIMIT와 같은 시간 과제에서 성능을 평가하기 위해 순차적 및 비순차적 입력 처리 전략을 사용한다.
• 정확도와 강건성을 지표로 하여 다양한 벤치마크에서 MDNs 유무에 따라 SNN을 비교 평가함으로써 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 1차 및 2차 동역학을 갖는 메타뉴런은 표준 뉴런에 비해 SNN의 시공간 일반화 능력을 향상시키는가?
• RQ2 생물학적으로 타당한 학습 규칙을 사용하여 훈련된 SNN에서 공간적 및 시간적 MDNs는 MNIST 및 TIDigits와 같은 벤치마크 데이터셋에서 어떻게 성능을 내는가?
• RQ3 다양한 메타뉴런 유형의 통합이 이미지 분류 및 음성 인식과 같은 다양한 과제에서 SNN 성능을 향상시키는가?
• RQ4 더 깊거나 더 큰 네트워크 아키텍처를 요구하지 않고 MDNs는 일반화 능력을 얼마나 향상시키는가?
• RQ5 MDNs는 생물학적 타당성을 유지하면서 최신 기술(SOTA) SNN과 경쟁 가능한 정확도를 달성할 수 있는가?

주요 결과

• MDN을 포함한 SNN은 MNIST에서 98.69%의 정확도를 달성하여 이전 최신 기술(SOTA) SNN(98.64%)를 능가하며 더 뛰어난 일반화 능력을 보였다.
• 패션-MNIST에서 MDN 기반 SNN은 90.5%의 정확도를 기록하여 최신 기술(SOTA) SNN 기준 85.74%보다 유의미하게 높았다.
• NETtalk 과제에서 MDN-SNN은 91.46%의 정확도를 달성하여 최신 기술(SOTA) SNN의 87.20%를 초월했으며, 이는 향상된 시간적 일반화 능력을 시사한다.
• TIMIT에서 MDN-SNN은 91.98%의 정확도를 기록하여 표준 벤치마크와 다른 성별 분류 설정에도 불구하고 뛰어난 성능을 보였다.
• TIDigits에서 비순차적 입력 처리 전략은 순차적 방법(78.00%)보다 94.00%의 정확도를 기록하여, 시간 학습에서 입력 표현의 중요성을 강조한다.
• 모든 과제에서 표준 SNN에 비해 MDN-SNN은 더 나은 일반화 능력을 보였으며, 이는 메타뉴런의 다양성이 강건성과 적응 가능성 향상에 기여함을 시사한다.