[論文レビュー] Loss shaping enhances exact gradient learning with Eventprop in spiking neural networks

Thomas Nowotny, James P. Turner+1 more|arXiv (Cornell University)|Dec 2, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

この論文は、勾配の流れを改善するために損失関数に重み関数を導入する「損失形状調整（loss shaping）」という手法を導入することで、イベントプロパゲーション（EventProp）アルゴリズムをスパikingニューラルネットワーク（SNN）の学習に拡張している。正確な勾配がスパイクの生成・削除効果を示さないという本質的な制限に対処することで、SHDやMNISTのような困難なベンチマークにおいて学習の安定性と性能が向上し、標準的なEventPropが失敗する状況でも競争力のある精度を達成している。

ABSTRACT

Event-based machine learning promises more energy-efficient AI on future neuromorphic hardware. Here, we investigate how the recently discovered Eventprop algorithm for gradient descent on exact gradients in spiking neural networks can be scaled up to challenging keyword recognition benchmarks. We implemented Eventprop in the GPU-enhanced Neural Networks framework and used it for training recurrent spiking neural networks on the Spiking Heidelberg Digits and Spiking Speech Commands datasets. We found that learning depended strongly on the loss function and extended Eventprop to a wider class of loss functions to enable effective training. We then tested a large number of data augmentations and regularisations as well as exploring different network structures; and heterogeneous and trainable timescales. We found that when combined with two specific augmentations, the right regularisation and a delay line input, Eventprop networks with one recurrent layer achieved state-of-the-art performance on Spiking Heidelberg Digits and good accuracy on Spiking Speech Commands. In comparison to a leading surrogate-gradient-based SNN training method, our GeNN Eventprop implementation is 3X faster and uses 4X less memory. This work is a significant step towards a low-power neuromorphic alternative to current machine learning paradigms.

研究の動機と目的

• 正確な勾配がスパイクの生成・削除効果を示さないために、特定の学習タスクでEventPropが失敗する問題を解消すること。
• 元来の制限的な定式化にとらわれず、より広いクラスの損失関数を扱えるようにEventPropを拡張すること。
• 損失積分に重み関数を導入することで、より前の層への勾配の流れを向上させること。
• 損失形状調整を用いた拡張EventPropを、遅延符号化MNISTおよびSpiking Heidelberg Digits（SHD）データセットに対して実験的に評価すること。
• 標準的なEventPropが失敗するか、学習が遅い状況でも、損失形状調整が安定的かつ効果的な学習を可能にすることを示すこと。

提案手法

• 著者らは、積分損失定式化に重み関数を導入することで、EventPropをより広いクラスの損失関数に対応可能に拡張した。これにより、勾配の伝搬が改善された。
• GeNNを用いてCUDAバックエンドを搭載した実装により、大規模SNNにおける効率的なシミュレーションを実現した。
• 正しく発火しないニューロンが存在する場合に勾配が得られるように、時間ごとの最初のスパイク損失に対して「フォビースパイク正則化」を導入した。
• 隠れ層の正則化には発火レートペナルティ項を適用し、随伴法の原則に従って逆伝播で対応するジャンプを導出した。
• 入力の拡張にはランダムシフトを用い、一般化性能を向上させた。重み更新にはAdam最適化手法を採用した。
• 計算効率を高めるために、次のミニバッチの順伝播と逆伝播を重ねて実行した。

実験結果

リサーチクエスチョン

• RQ1 正確な勾配を使用しても、特定のタスクでEventPropが学習に失敗するのはなぜか？
• RQ2 スパイク生成・削除に関する勾配情報が欠落していると、SNNにおける学習ダイナミクスにどのような影響を与えるか？
• RQ3 『損失形状調整』による損失関数の修正が、勾配の流れと学習性能を向上させられるか？
• RQ4 EventPropに組み合わせた場合、どの種類の損失関数が最も効果的か？
• RQ5 損失形状調整は、SHDのような困難なベンチマークでどの程度性能を向上させるか？

主な発見

• 標準的な損失関数を用いた場合、EventPropはSpiking Heidelberg Digits（SHD）データセットで学習に失敗する。これは、スパイク生成・削除に関する勾配情報が欠落しているためである。
• 損失関数の正確な勾配は、スパイクの生成や削除が性能を向上させるかどうかのシグナルを提供しないため、意図しないスパイクの削除が生じ、損失が増加する。
• 損失積分に重み関数を導入する損失形状調整により、出力層からより前の層への勾配の流れが著しく向上し、学習が安定化した。
• 損失形状調整を施した修正された損失関数は、SHDで競争力ある分類精度を達成し、標準的なEventPropを上回った。
• フォビースパイク正則化と隠れ層発火レート正則化は、学習の安定性と収束性を顕著に向上させた。
• ランダムシフト拡張が、一般化性能向上において最も効果的であった。他の拡張手法はほとんど利益をもたらさなかった。