[논문 리뷰] Recent Advances and New Frontiers in Spiking Neural Networks

Duzhen Zhang, Shuncheng Jia외 1명|arXiv (Cornell University)|2022. 03. 12.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 종합 검토는 스파iking 신경망(SNNs)의 최근 발전과 새로운 연구 영역을 다루며, 핵심 다섯 분야인 뉴런 모델, 인코딩 방법, 구조적 구조, 뉴모르픽 데이터셋, 최적화 알고리즘, 소프트웨어 프레임워크, 하드웨어 플랫폼을 중심으로 다룹니다. 이는 이벤트 기반 계산과 뉴모르픽 하드웨어 통합을 통해 에너지 효율적이고 뇌에 영감을 받은 인공지능을 실현할 잠재력을 강조합니다.

ABSTRACT

In recent years, spiking neural networks (SNNs) have received extensive attention in brain-inspired intelligence due to their rich spatially-temporal dynamics, various encoding methods, and event-driven characteristics that naturally fit the neuromorphic hardware. With the development of SNNs, brain-inspired intelligence, an emerging research field inspired by brain science achievements and aiming at artificial general intelligence, is becoming hot. This paper reviews recent advances and discusses new frontiers in SNNs from five major research topics, including essential elements (i.e., spiking neuron models, encoding methods, and topology structures), neuromorphic datasets, optimization algorithms, software, and hardware frameworks. We hope our survey can help researchers understand SNNs better and inspire new works to advance this field.

연구 동기 및 목표

• 스파킹 신경망(SNNs)의 최근 진전을 다섯 핵심 연구 분야에서 종합적으로 검토하는 것.
• 생물학적으로 타당한 모델과 계산 효율성 사이의 균형을 이루는 데 있어 새로운 과제와 연구의 최전선을 식별하고 분석하는 것.
• 연구자들이 SNN의 현재 상태를 이해하고 인공지능의 일반화를 향한 새로운 연구를 이끌어내는 데 기여하는 것.
• 뉴모르픽 하드웨어와 소프트웨어 프레임워크가 SNN의 구현 및 학습을 가속화하는 데서 수행하는 역할을 분석하는 것.
• 오프라인과 온라인 뉴모르픽 칩이 SNN 추론 및 학습을 지원하는 데 있어 상호 비교 및 대조하는 것.

제안 방법

• 핵심 다섯 영역인 핵심 요소(뉴런 모델, 인코딩, 구조), 뉴모르픽 데이터셋, 최적화 알고리즘, 소프트웨어 프레임워크, 하드웨어 플랫폼을 중심으로 최근 문헌을 체계적으로 조사합니다.
• 생물학적 정확도와 계산 효율성의 균형을 고려해 허드킨-후크리지 모델, LIF, 이즈키에비치 모델을 포함한 뉴런 모델을 분석합니다.
• 정보 표현에 미치는 영향을 평가하기 위해 레이트 코딩, 타임스탬프 코딩, 순위 기반 코딩 등의 인코딩 방법을 검토합니다.
• 스파이크 시퀀스 기반 가소성(STDP) 및 의사역전파(예: Zenke & Ganguli, 2018)와 같은 최적화 기법을 검토하여 SNN 학습에 활용합니다.
• SNN 개발 및 학습을 위한 도구인 SpikingJelly 및 CogSNN 등의 소프트웨어 도구를 평가합니다.
• 아키텍처, 확장성, 온칩 학습 지원 능력에 중점을 두고 IBM TrueNorth, Intel Loihi, Tianjic 등의 뉴모르픽 하드웨어 플랫폼을 검토합니다.

실험 결과

연구 질문

• RQ1 생물학적 현실성과 계산 효율성 사이의 균형을 고려할 때, 스파이크 뉴런 모델의 주요 발전은 무엇인가요?
• RQ2 다양한 스파이크 인코딩 방법은 이벤트 기반 처리에서 SNN의 성능과 내성에 어떤 영향을 미치나요?
• RQ3 생물학적으로 영감을 받은(예: STDP) 및 공학 기반(예: 의사역전파) 알고리즘을 사용한 SNN 최적화의 현재 한계와 기회는 무엇인가요?
• RQ4 현대 소프트웨어 프레임워크는 SNN의 개발 및 학습을 어떻게 지원하며, 그 확장성과 사용성 간의 상충 관계는 어떠한가요?
• RQ5 초저전력, 고병렬성 SNN 추론 및 학습을 가능하게 하는 뉴모르픽 하드웨어의 아키텍처 혁신은 무엇인가요?

주요 결과

• 허드킨-후크리지 모델은 뉴런 동역학의 세밀한 생물물리적 기술을 제공하지만 계산 비용이 높으며, LIF 및 이즈키에비치 모델은 대규모 SNN에 적합한 효율적인 근사 모델을 제공합니다.
• N-MNIST 및 DVS-CIFAR10와 같은 뉴모르픽 데이터셋은 이벤트 기반 비전 작업에서 SNN의 학습 및 평가에 필수적이며, 고속, 저전력 처리를 가능하게 합니다.
• 젠케 & 간굴리(2018)가 제안한 의사역전파 방법은 SNN에서 엔드 투 엔드 역전파를 가능하게 하여 벤치마크 작업에서 정확도를 크게 향상시킵니다.
• Intel Loihi(800만 개의 뉴런, 80억 개의 시냅스) 및 IBM TrueNorth(100만 개의 뉴런, 2억 5600만 개의 시냅스)와 같은 뉴모르픽 칩은 실시간 SNN 추론을 위한 초저전력 소비와 고병렬성을 보여줍니다.
• Loihi 및 스파이너커와 같은 온라인 뉴모르픽 칩은 온칩 학습을 지원하여 적응형 이벤트 기반 계산을 가능하게 하지만, TrueNorth 및 뉴로그리드와 같은 오프라인 칩은 추론 전용으로 제한되어 있습니다.
• Tianjic와 같은 하이브리드 아키텍처는 DNN과 SNN을 모두 지원하여 자율 주행 자전거의 음성 인식 및 장애물 회피와 같은 다중 모odal 응용을 가능하게 합니다.