[논문 리뷰] Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State

Xiao Ming-qing, Qingyan Meng외 3명|arXiv (Cornell University)|2021. 09. 29.

Advanced Memory and Neural Computing인용 수 28

한 줄 요약

이 논문은 FSNNs를 평형 상태에서의 암시적 미분을 사용하여 학습시켜 시간 역전파를 거치지 않으면서 뇌와 유사한 효율적인 학습을 적은 시간 단계로 가능하게 한다.

ABSTRACT

Spiking neural networks (SNNs) are brain-inspired models that enable energy-efficient implementation on neuromorphic hardware. However, the supervised training of SNNs remains a hard problem due to the discontinuity of the spiking neuron model. Most existing methods imitate the backpropagation framework and feedforward architectures for artificial neural networks, and use surrogate derivatives or compute gradients with respect to the spiking time to deal with the problem. These approaches either accumulate approximation errors or only propagate information limitedly through existing spikes, and usually require information propagation along time steps with large memory costs and biological implausibility. In this work, we consider feedback spiking neural networks, which are more brain-like, and propose a novel training method that does not rely on the exact reverse of the forward computation. First, we show that the average firing rates of SNNs with feedback connections would gradually evolve to an equilibrium state along time, which follows a fixed-point equation. Then by viewing the forward computation of feedback SNNs as a black-box solver for this equation, and leveraging the implicit differentiation on the equation, we can compute the gradient for parameters without considering the exact forward procedure. In this way, the forward and backward procedures are decoupled and therefore the problem of non-differentiable spiking functions is avoided. We also briefly discuss the biological plausibility of implicit differentiation, which only requires computing another equilibrium. Extensive experiments on MNIST, Fashion-MNIST, N-MNIST, CIFAR-10, and CIFAR-100 demonstrate the superior performance of our method for feedback models with fewer neurons and parameters in a small number of time steps. Our code is avaiable at https://github.com/pkuxmq/IDE-FSNN.

연구 동기 및 목표

• 브레인 같은 비전 과제를 위해 피드백(순환) 스파이킹 네트워크의 사용을 동기부여한다.
• FSNNs를 위한 평형 기반 고정점 형식을 도입한다.
• Forward와 backward 패스를 분리하는 IDE(Implicit Differentiation on the Equilibrium) 학습 방법을 개발한다.
• 몇 가지 시간 단계에서 IDE-FSNNs의 강력한 성능을 여러 데이터셋에서 보여준다.
• 생물학적 타당성과 Hebbian 학습과의 연관성에 대해 논의한다.

제안 방법

• Feedback를 갖는 FSNN의 평균 발화율이 연속적(IF/LIF) 및 이산적 관점 모두에서 고정점 평형으로 수렴한다는 것을 보여준다.
• 전달 포화(spikes)를 미분하지 않고도 기울기를 계산하기 위해 고정점 방정식에 대한 암시적 미분을 통해 학습을 구성한다.
• Forward FSNN 계산을 블랙박스 고정점 해석기로 취급하고 평형을 통해 미분한다.
• 비선형성 및 성능 향상을 위한 다층 FSNN 구조를 제공한다.
• 읽기 출력 계층 손실(교차 엔트로피) 및 표준 최적화 알고리즘을 사용한 실용적 학습 절차를 제시한다.
• Hebbian 유사 업데이트와의 관계 및 생물학적 타당성에 대한 간략한 논의성을 제공한다.

실험 결과

연구 질문

• RQ1 피드백 연결을 가진 FSNN을 역전파 없이 혹은 대체 파생법 없이 학습시킬 수 있는가?
• RQ2 평형(고정점) 형식이 FSNN 매개변수에 대한 정확한 기울기 계산을 가능하게 하는가?
• RQ3 IDE-FSNN의 성능은 표준 벤치마크에서 직접 학습된 최신 SNN과 어떻게 비교되는가?
• RQ4 다층 피드백 구조를 도입하면 소수 시간 단계 규칙에서 표현력과 정확도가 향상되는가?

주요 결과

• IDE-FSNN은 더 적은 뉴런과 매개변수로도 경쟁적이거나 우수한 정확도를 달성하고 MNIST, Fashion-MNIST, N-MNIST에서 적은 시간 단계로 동작한다.
• MNIST에서 IDE-LIF는 30단계에서 99.59% 최고치를 13K 뉴런 및 229K 파라미터(IDEO-LIF)로 달성한다.
• Fashion-MNIST에서 IDE-IF/LIF는 5단계에서 약 90.1% 정확도에 도달하며 1.2K 뉴런과 478K 파라미터를 사용한다.
• N-MNIST에서 IDE-IF/LIF는 30단계에서 약 99.30–99.47%의 정확도에 도달하며 21K 뉴런과 291K 파라미터를 사용한다.
• 고정점 방정식 해결 및 역Jacobian 기반 기울기 계산을 통해 전방/후방 패스를 분리하여 학습할 수 있게 하는 방법.
• 생물학적 타당성에 대한 논의와 Hebbian 유사 업데이트와의 연결을 명시적으로 시연한다.