[論文レビュー] Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State

Xiao Ming-qing, Qingyan Meng+3 more|arXiv (Cornell University)|Sep 29, 2021

Advanced Memory and Neural Computing被引用数 28

ひとこと要約

この論文はフィードバックスパイキングニューラルネットワーク（FSNNs）を、平衡状態における implicit differentiation を用いて訓練し、時間展開によるバックプロパゲーションを回避し、Few time steps で脳のような効率的な学習を実現します。

ABSTRACT

Spiking neural networks (SNNs) are brain-inspired models that enable energy-efficient implementation on neuromorphic hardware. However, the supervised training of SNNs remains a hard problem due to the discontinuity of the spiking neuron model. Most existing methods imitate the backpropagation framework and feedforward architectures for artificial neural networks, and use surrogate derivatives or compute gradients with respect to the spiking time to deal with the problem. These approaches either accumulate approximation errors or only propagate information limitedly through existing spikes, and usually require information propagation along time steps with large memory costs and biological implausibility. In this work, we consider feedback spiking neural networks, which are more brain-like, and propose a novel training method that does not rely on the exact reverse of the forward computation. First, we show that the average firing rates of SNNs with feedback connections would gradually evolve to an equilibrium state along time, which follows a fixed-point equation. Then by viewing the forward computation of feedback SNNs as a black-box solver for this equation, and leveraging the implicit differentiation on the equation, we can compute the gradient for parameters without considering the exact forward procedure. In this way, the forward and backward procedures are decoupled and therefore the problem of non-differentiable spiking functions is avoided. We also briefly discuss the biological plausibility of implicit differentiation, which only requires computing another equilibrium. Extensive experiments on MNIST, Fashion-MNIST, N-MNIST, CIFAR-10, and CIFAR-100 demonstrate the superior performance of our method for feedback models with fewer neurons and parameters in a small number of time steps. Our code is avaiable at https://github.com/pkuxmq/IDE-FSNN.

研究の動機と目的

• ブレインのような視覚タスクのためにフィードバック（再帰的）スパイキングネットワークを用いる動機づけ。
• FSNNの平衡状態に基づく固定点定式化を導入。
• フォワードとバックワードパスを分離するIDE（Equilibrium on Implicit Differentiation）訓練法を開発。
• 少時間ステップで複数データセット上でIDE-FSNNが高い性能を示す。
• 生物学的妥当性とHebbian学習との関連を論じる。

提案手法

• 平均発火率が、連続（IF/LIF）および離散的視点の下でフィードバックを持つFSNNが固定点平衡に収束することを示す。
• 固定点方程式に対する暗黙微分を用いて、前方スパイクを微分せずに勾配を計算する訓練を定式化。
• 前方FSNNの計算をブラックボックスの固定点ソルバーとして扱い、平衡を微分する。
• 非線形性と性能を高めるための多層FSNNアーキテクチャを提供。
• 交差エントロピーのリードアウト層損失と標準的最適化アルゴリズムを用いた実用的な訓練手順を提示。
• 生物学的妥当性とHebbian風の更新との関連について簡潔に議論。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションや surrogate derivatives を用いずに、フィードバック接続を持つFSNNを訓練できるか？
• RQ2 平衡点（固定点）定式化がFSNNパラメータの正確な勾配計算を可能にするか？
• RQ3 IDE-FSNNの性能は、標準の最先端の直接訓練SNNと標準ベンチマークでどう比較されるか？
• RQ4 少時間ステップの regime で多層フィードバック構造を取り入れると表現と精度は改善されるか？

主な発見

• IDE-FSNNsは、少ないニューロンとパラメータで競争力または優位な精度を、MNIST、Fashion-MNIST、N-MNISTの少数時間ステップで達成。
• MNISTでは、IDE-LIFが30ステップで最高99.59%達成、13Kニューロンと229Kパラメータ（IDEO-LIF）。
• Fashion-MNISTでは、IDE-IF/LIFが5ステップで約90.1%の精度を達成、1.2Kニューロンと478Kパラメータ。
• N-MNISTでは、IDE-IF/LIFが約99.30–99.47%を30ステップで達成、21Kニューロンと291Kパラメータ。
• この手法は、固定点方程式を解き、逆ヤコビ行列ベースの勾配計算を用いることで、前方/後方パスを切り離して訓練を可能にする。
• Hebbianのような更新との関連や生物学的妥当性に関する議論を明示的に示す。