[논문 리뷰] Spiking Neural Networks and Bio-Inspired Supervised Deep Learning: A Survey

Gabriele Lagani, Fabrizio Falchi외 2명|arXiv (Cornell University)|2023. 07. 30.

Advanced Memory and Neural Computing인용 수 10

한 줄 요약

스파이킹 뉴럴 네트워크(SNNs)과 생체 영감을 받은 감독형 딥러닝(BIDL)에 대한 포괄적 고찰로, SNN 모델, 학습 도전과제, STDP 기반 및 대리 기울기(surrogate-gradient) 방법, 에너지 효율적 뉴로모픽의 함의를 상세히 다룬다.

ABSTRACT

For a long time, biology and neuroscience fields have been a great source of inspiration for computer scientists, towards the development of Artificial Intelligence (AI) technologies. This survey aims at providing a comprehensive review of recent biologically-inspired approaches for AI. After introducing the main principles of computation and synaptic plasticity in biological neurons, we provide a thorough presentation of Spiking Neural Network (SNN) models, and we highlight the main challenges related to SNN training, where traditional backprop-based optimization is not directly applicable. Therefore, we discuss recent bio-inspired training methods, which pose themselves as alternatives to backprop, both for traditional and spiking networks. Bio-Inspired Deep Learning (BIDL) approaches towards advancing the computational capabilities and biological plausibility of current models.

연구 동기 및 목표

• SNN을 뒷받침하는 기본 생물학과 시냅스 가소성 원리를 제시한다.
• 생물학적으로 상세한 SNN 모델과 그 학습 과제 및 에너지 효율 컴퓨팅에서의 잠재적 응용을 검토한다.
• SNN과 DNN에 대한 역전파의 대안으로 생체 영감을 받은 학습 방법을 조사한다.
• 생체영감 딥러닝(BIDL) 개념과 전통적 DL 및 신경과학과의 연관성을 논의한다.
• 생물학적으로 기반한 학습 기술의 개방형 과제와 향후 방향을 강조한다.

제안 방법

• 스파이킹 뉴런 모델(예: LIF, HH, Izhikevich) 및 스파이크 인코딩(spike coding) 체계를 설명한다.
• 전압 의존적 및 트리플릿 변형을 포함한 STDP 및 다른 시냅스 가소성 규칙을 설명한다.
• SNN에서의 backprop-호환성 문제와 학습 대체 수단으로서 surrogate gradient 접근법을 논의한다.
• STDP 기반 DL에 대한 감독으로서 교사 뉴런(teacher neuron) 기법과 경쟁 학습(WTA)을 제시한다.
• BIDL 내의 대안 학습 패러다임(순방향 전파, reservoir computing, 비지도/양방향 학습)을 개략한다.

실험 결과

연구 질문

• RQ1 생물학적으로 현실적인 계산을 위해 사용되는 주요 스파이킹 뉴럴 네트워크 모델과 스파이크 인코딩 체계는 무엇인가?
• RQ2 SNN의 주요 학습 과제는 무엇이며, 역전파의 대안으로 생체 영감을 받은 방법들이 이를 어떻게 해결할 수 있는가?
• RQ3 STDP 및 다른 Hebbian 기반 규칙이 전통적인 DL 목표 및 데이터 효율성 목표와 어떻게 관련되는가?
• RQ4 에너지 효율적이고 생물학적으로 그럴듯한 AI를 진전시키는 데 있어 Bio-Inspired Deep Learning(BIDL)의 역할과 잠재력은 무엇인가?
• RQ5 뉴로모픽 하드웨어 및 실세계 응용에 대한 SNN의 실용적 함의는 무엇인가?

주요 결과

• 스파이킹 비선형성으로 인해 역전파는 SNN에 직접적으로 적용될 수 없으며, STDP와 surrogate-gradient 접근법의 필요성을 촉진한다.
• STDP 기반 학습은 이미지 유사 작업에서 경쟁력 있는 성능을 달성할 수 있으며, 예를 들어 단일 conv 계층과 WTA를 사용한 MNIST에서 95% 정확도.
• 교사 뉴런 기법은 감독 STDP 학습을 가능하게 하며, 보고된 실험에서 MNIST에서 약 89.7% 정확도를 달성했다.
• 더 심층적인 STDP 기반 및 하이브리드 아키텍처가 향상을 보여주었으며, 세 개의 컨볼루션 계층 구성을 통해 MNIST에서 82.8% 정확도가 보고되었다(세부 내용은 생략).
• 생물학적으로 영감을 받은 학습 규칙은 비율 기반 Hebbian 개념(PCA/ICA, 군집화 등)으로 매핑될 수 있으며 표준 DL에 대한 데이터 효율적인 대안을 제시한다.
• SNN과 생체 영감을 받은 학습은 에너지 효율적인 뉴로모픽/하드웨어 구현에 가능성을 갖춘다.