[논문 리뷰] A Comprehensive Review of Spiking Neural Networks: Interpretation, Optimization, Efficiency, and Best Practices

Kai Malcolm, Josue Casco-Rodriguez|arXiv (Cornell University)|2023. 03. 19.

Advanced Memory and Neural Computing인용 수 10

한 줄 요약

스파이킹 신경망(SNNs)의 최근 진전을 체계적으로 정리한 문헌 리뷰로, 해석, 최적화(대리 그래디언트 포함), 효율성, 벤치마크 및 연구자들을 위한 모범 사례에 초점을 맞춥니다.

ABSTRACT

Biological neural networks continue to inspire breakthroughs in neural network performance. And yet, one key area of neural computation that has been under-appreciated and under-investigated is biologically plausible, energy-efficient spiking neural networks, whose potential is especially attractive for low-power, mobile, or otherwise hardware-constrained settings. We present a literature review of recent developments in the interpretation, optimization, efficiency, and accuracy of spiking neural networks. Key contributions include identification, discussion, and comparison of cutting-edge methods in spiking neural network optimization, energy-efficiency, and evaluation, starting from first principles so as to be accessible to new practitioners.

연구 동기 및 목표

• SNN 최적화와 생물학적 타당성에 관한 최근 개발을 원리적으로 조사한다.
• Surrogate gradients를 포함한 SNN 학습 방법과 분화 불가능한 스파이크 동역학을 비교한다.
• 에너지 효율 메커니즘과 뉴로모픽 컴퓨팅의 하드웨어 함의를 평가한다.
• 표준 벤치마크 데이터셋과 SNN 연구를 통합하기 위한 이용 가능한 도구/프레임워크를 식별한다.
• SNN 연구에 처음 진입하는 연구자들을 위한 통찰과 모범 사례를 제공한다.

제안 방법

• 최근 SNN 최적화 및 효율성 기술에 대한 메타분석.
• 인코딩 스킴(비율 부호화 vs TTFS/지연 부호화) 및 그 트레이드오프에 대한 논의와 비교.
• SNN 동역학의 이차 최적화 형태 및 볼록 최적화 개념과의 도출 및 연결.
• 학습 접근 방식 개요: 시간에 걸친 역전파(BPTT), 대리 그래디언트, 및 대안(STDP, 이벤트 기반 최적화, OTTT, IDE).
• 희소성, 이벤트 기반 계산, 뉴로모픽 하드웨어 함의를 포함한 에너지 효율 메커니즘의 검토.
• SNN 개발에 사용되는 벤치마크 데이터셋 목록과 도구/프레임워크 조사를 정리.

Figure 1: An illustration by Barnett & Larkman ( 2007 ) showing the different phases of depolarization and polarization as they relate to action potentials and voltage-gated ion channels.

실험 결과

연구 질문

• RQ1 SNN의 지배적인 최적화 및 학습 전략은 무엇이며 어떻게 비교되는가?
• RQ2 인코딩 스킴과 스파이킹 동역학이 정확도, 효율성 및 하드웨어 적합성에 어떤 영향을 미치는가?
• RQ3 SNN의 에너지 효율성과 강건성에 대한 증거는 ANN에 비해 무엇이며 어떤 조건에서 이득이 실현되는가?
• RQ4 가장 일반적으로 사용되는 벤치마크 데이터셋과 도구는 무엇이며 표준화를 어떻게 개선할 수 있는가?
• RQ5 해석, 구현 및 평가와 관련하여 SNN에 새로 진입하는 연구자들에게 어떤 모범 사례가 제시되는가?

주요 결과

• SNNs는 볼록/이차 최적화 및 동역학계와의 연결을 통해 해석되고 분석될 수 있다.
• 대리 그래디언트 접근법은 SNN 학습에 있어 필수적이며 다양한 선택에서도 견고한 성능을 보인다.
• 지연 부호화(TTFS) 코딩은 많은 데이터세트에서 비트율 코딩에 비해 에너지 효율 및 정확도 트레이드오프가 더 나은 경향이 있다.
• 스파이킹 신경망에서의 에너지 효율 이득은 기존 ANN 대비 최대 3개의 오더의 크기로 도달할 수 있으며, 특히 희소하고 이벤트 기반 처리 및 뉴로모픽 하드웨어에서 그렇다.
• 수렴 및 정보 유지 향상을 위한 여러 고급 학습 체계(Dspike, IM-Loss, ESG)가 제안되었다.
• 표준 벤치마크 및 도구의 필요성이 있으며, 이 리뷰된 연구가 이를 식별하고 정리한다.

Figure 2: Plotted measurements of (b) an observed spike train and (c) an isolated action potential by Wattanapanitch et al. ( 2007 ) .