[논문 리뷰] Event-Driven Learning for Spiking Neural Networks

Wenjie Wei, Malu Zhang외 8명|arXiv (Cornell University)|2024. 03. 01.

Advanced Memory and Neural Computing인용 수 14

한 줄 요약

이 논문은 심층 스파이킹 신경망을 위한 두 가지 새로운 이벤트 구동 학습 알고리즘 STD-ED와 MPD-ED를 도입하며, 과도한 희소성 및 그래디언트 반전 문제를 해결하고, 신경모사 하드웨어에서 최첨단 성능과 상당한 에너지 절감 효과를 입증한다.

ABSTRACT

Brain-inspired spiking neural networks (SNNs) have gained prominence in the field of neuromorphic computing owing to their low energy consumption during feedforward inference on neuromorphic hardware. However, it remains an open challenge how to effectively benefit from the sparse event-driven property of SNNs to minimize backpropagation learning costs. In this paper, we conduct a comprehensive examination of the existing event-driven learning algorithms, reveal their limitations, and propose novel solutions to overcome them. Specifically, we introduce two novel event-driven learning methods: the spike-timing-dependent event-driven (STD-ED) and membrane-potential-dependent event-driven (MPD-ED) algorithms. These proposed algorithms leverage precise neuronal spike timing and membrane potential, respectively, for effective learning. The two methods are extensively evaluated on static and neuromorphic datasets to confirm their superior performance. They outperform existing event-driven counterparts by up to 2.51% for STD-ED and 6.79% for MPD-ED on the CIFAR-100 dataset. In addition, we theoretically and experimentally validate the energy efficiency of our methods on neuromorphic hardware. On-chip learning experiments achieved a remarkable 30-fold reduction in energy consumption over time-step-based surrogate gradient methods. The demonstrated efficiency and efficacy of the proposed event-driven learning methods emphasize their potential to significantly advance the fields of neuromorphic computing, offering promising avenues for energy-efficiency applications.

연구 동기 및 목표

• 깊은 SNNs를 위한 기존 이벤트 기반 학습 알고리즘의 한계를 평가한다.
• 스파이크 타이밍 또는 막전위(membrane potential)를 활용하는 두 가지 새로운 이벤트 기반 학습 방법을 개발한다.
• 안정적인 학습을 가능하게 하기 위해 과도한 희소성 및 그래디언트 반전을 해결한다.
• 정적 데이터셋과 신경모사 데이터셋에서 성능 향상을 입증한다.
• 제안된 방법의 에너지 효율성을 신경모사 하드웨어에서 검증한다.

제안 방법

• 과도한 희소성과 그래디언트 반전을 완화하기 위해 Adaptive Firing Threshold 기반 Integrate-and-Fire (AFT-IF) 뉴런을 제안한다.
• 막전위 및 스파이크 타이밍 관계를 통해 도함수를 계산하는 학습이 스파이크 시점에서 일어나는 STD-ED를 개발한다.
• 막전위 신호를 통한 이벤트 기반 역전파를 가능하게 하는 masked surrogate gradient(MSG)을 가진 AFT-LIF 뉴런을 사용한 MPD-ED를 도입한다.
• STD-ED에는 선형 PSP 커널을, MPD-ED에는 막전위 기반 학습 신호를 사용하여 그래디언트 반전을 피한다.
• 가중치와 스파이크 타이밍을 업데이트하기 위한 두 방법의 역전파 공식을 도출한다.
• 정적 데이터셋(F-MNIST, CIFAR-10/100)과 신경모사 데이터셋(N-MNIST, DVS-Gesture, DVS-CIFAR10)에서 평가한다.

실험 결과

연구 질문

• RQ1 도전적인 데이터셋에서 완전히 이벤트 구동 학습(STD-ED 및 MPD-ED)이 기존의 이벤트 구동 방법보다 더 나은 성능을 발휘할 수 있는가?
• RQ2 적응형 발화 임계치 메커니즘과 막전위 신호가 깊은 SNN의 안정적이고 효율적인 학습을 가능하게 하는가?
• RQ3 정확도와 효율성 측면에서 스파이크 타이밍 기반 학습과 막전위 기반 학습 간의 트레이드오프는 무엇인가?
• RQ4 온칩 이벤트 구동 학습으로 신경모사 하드웨어에서 어느 정도의 에너지 효율성을 달성할 수 있는가?

주요 결과

• STD-ED와 MPD-ED가 벤치마크 데이터셋에서 기존의 이벤트 구동 방법들보다 우수한 성능을 달성한다.
• CIFAR-100에서 STD-ED와 MPD-ED가 각각 최대 2.51%, 6.79%의 성능 향상을 보인다.
• 온칩 학습 실험에서 시간 스텝 기반 대리 그래디언트 방법에 비해 30배의 에너지 절감을 보인다.
• 제안된 방법은 정적 데이터셋과 신경모사 데이터셋 모두에서 검증되어 에너지 효율적인 신경 모사 컴퓨팅의 효과를 보여준다.
• 이론적 분석과 하드웨어 구현 결과가 에너지 효율성과 실용성을 뒷받침한다.