[論文レビュー] Training Spiking Neural Networks with Local Tandem Learning

Qu Yang, Jibin Wu+4 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Memory and Neural Computing被引用数 20

ひとこと要約

Local Tandem Learning（LTL）は、層ごとの局所損失を用いて中間のANN特徴を模倣することにより深層スパイキングニューラルネットワークを訓練し、迅速な収束とハードウェア適合のオンチップ学習を実現し、CIFAR-10/100およびTiny ImageNetでANNと競合する精度を達成する。

ABSTRACT

Spiking neural networks (SNNs) are shown to be more biologically plausible and energy efficient over their predecessors. However, there is a lack of an efficient and generalized training method for deep SNNs, especially for deployment on analog computing substrates. In this paper, we put forward a generalized learning rule, termed Local Tandem Learning (LTL). The LTL rule follows the teacher-student learning approach by mimicking the intermediate feature representations of a pre-trained ANN. By decoupling the learning of network layers and leveraging highly informative supervisor signals, we demonstrate rapid network convergence within five training epochs on the CIFAR-10 dataset while having low computational complexity. Our experimental results have also shown that the SNNs thus trained can achieve comparable accuracies to their teacher ANNs on CIFAR-10, CIFAR-100, and Tiny ImageNet datasets. Moreover, the proposed LTL rule is hardware friendly. It can be easily implemented on-chip to perform fast parameter calibration and provide robustness against the notorious device non-ideality issues. It, therefore, opens up a myriad of opportunities for training and deployment of SNN on ultra-low-power mixed-signal neuromorphic computing chips.10

研究の動機と目的

• アナログニューロモルフィック基板上で動作可能な、深層SNNを訓練するための一般化され、ハードウェアに優しい手法を提供する。
• 事前訓練済みANNの特徴と整合させることでSNN層表現を教師-生徒の知識伝達を活用する。
• CIFAR-10で5つの訓練エポック以内の迅速な収束と低計算複雑性を達成する。
• CIFAR-10、CIFAR-100、Tiny ImageNetにおけるLTL訓練SNNの競争力ある精度を実証する。
• オンラインのオンチップ学習を通じて、ハードウェアの非理想性へのLTLの頑健性を示す。

提案手法

• Local Tandem Learning（LTL）を提案する。これは教師-生徒に触発されたルールで、SNNが層ごとの局所損失を介してANNの中間表現を模倣する。
• ANNの活性化と正規化されたSNN発火率との平均二乗誤差を用いて層ごとの学習を推進するオフライントLTL（ローカル損失に対してBPTTを適用）を用いる。
• 移動平均発火率を用いた時系列局所損失を備えたオンラインLTLバリアントを採用し、オンチップでのメモリ効率の良い学習を可能にする。
• 非微分可能なスパイキング活性化に対してボックスカー微分を用いた代理勾配法を採用し、勾配ベースの更新を可能にする。
• 更新をゲート制御し層局所誤差で供給するオンチップ学習回路設計を提供し、メモリとハードウェアの要求を低減する。
• 複数のニューロンモデル（IFおよびLIF）とオフラインおよびオンラインの両方の訓練方式との互換性を示す。

実験結果

リサーチクエスチョン

• RQ1 Local Tandem Learningは層局所誤差でニューンレベルまでANNの特徴表現をSNNへ効果的に転移できるか？
• RQ2 LTLはCIFAR-10/100およびTiny ImageNetで深層SNNの迅速な収束と高精度を実現するか？
• RQ3 メモリ、時間計算量、ハードウェアの頑健性の観点で、LTLはSTBPや他のSNN訓練法とどう比較されるか？
• RQ4 オンラインLTLはミスマッチ、量子化、ノイズなどのデバイス非理想性への頑健性を持つオンチップ学習に適しているか？
• RQ5 異なるスパイキングニューロンモデル（IFおよびLIF）と変化する時間ウィンドウサイズでLTLは性能を維持できるか？

主な発見

• LTLは迅速な収束を達成し、オフラインおよびオンラインのバリアントはCIFAR-10のVGG-11/16アーキテクチャで5エポーク以内に収束する。
• IFおよびLIFモデルを横断して、LTL訓練SNNはCIFAR-10、CIFAR-100、Tiny ImageNetで教師ANNsと同等の精度を達成する。
• オンラインLTLはメモリと時間計算量を大幅に削減し、完全な時間履歴を保存せずにオンチップの局所学習を可能にする。
• 数エポックでオンチップキャリブレーションを介して、デバイスミスマッチ、量子化、熱雑音、ニューロンのサイレンスなどのハードウェア関連ノイズに対する頑健性を示す。
• STBPや他の方法と比較して、LTLは計算コストを抑えつつ深さに伴う勾配蓄積誤差を低く保ち、競争力のある精度を維持する。
• LTLは同等の精度を達成するためにANNと比べてSynOpsが少なくて済み、ニューロモルフィックハードウェアでのエネルギー効率上の利点を示唆する。