[論文レビュー] Exploiting High Performance Spiking Neural Networks with Efficient Spiking Patterns

Guobin Shen, Dongcheng Zhao+1 more|arXiv (Cornell University)|Jan 29, 2023

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本稿では、リステン、レギュラースパiking、バーストスパikingの3モードを動的に切り替えることで表現能力を向上させる、新しいスパイクニューロンモデルであるLeaky Integrate and Fire or Burst (LIFB)ニューロンを提案する。バースト強度を適応的に調整し、標準LIFニューロンへの損失なしデカップリングを可能にすることで、静的およびニューロモーフィックデータセットで最先端の精度を達成し、遅延とエネルギー消費を顕著に低減した。既存のSNNおよびバイナリ値ニューロンモデルを上回る性能を発揮した。

ABSTRACT

Spiking Neural Networks (SNNs) use discrete spike sequences to transmit information, which significantly mimics the information transmission of the brain. Although this binarized form of representation dramatically enhances the energy efficiency and robustness of SNNs, it also leaves a large gap between the performance of SNNs and Artificial Neural Networks based on real values. There are many different spike patterns in the brain, and the dynamic synergy of these spike patterns greatly enriches the representation capability. Inspired by spike patterns in biological neurons, this paper introduces the dynamic Burst pattern and designs the Leaky Integrate and Fire or Burst (LIFB) neuron that can make a trade-off between short-time performance and dynamic temporal performance from the perspective of network information capacity. LIFB neuron exhibits three modes, resting, Regular spike, and Burst spike. The burst density of the neuron can be adaptively adjusted, which significantly enriches the characterization capability. We also propose a decoupling method that can losslessly decouple LIFB neurons into equivalent LIF neurons, which demonstrates that LIFB neurons can be efficiently implemented on neuromorphic hardware. We conducted experiments on the static datasets CIFAR10, CIFAR100, and ImageNet, which showed that we greatly improved the performance of the SNNs while significantly reducing the network latency. We also conducted experiments on neuromorphic datasets DVS-CIFAR10 and NCALTECH101 and showed that we achieved state-of-the-art with a small network structure.

研究の動機と目的

• スパイクニューラルネットワーク(SNN)と人工ニューラルネットワーク(ANN)の性能格差を是正するため、SNNの表現能力を向上させること。
• 生物学的に妥当なスパイクパターンを導入することで、計算コストを増加させることなくSNNの性能を向上させること。
• より豊かな時間的ダイナミクスを実現するため、動的バースト強度適応を可能にするニューロンモデルを設計すること。
• 標準LIFニューロンへの損失なしデカップリングを可能にすることで、高度なSNNの効率的ハードウェア実装を可能にすること。
• 最小限のシミュレーションステップで静的およびニューロモーフィックデータセットにおいて最先端の性能を示すこと。

提案手法

• 入力電流と適応的閾値ダイナミクスに基づき、リステン、レギュラースパiking、バーストスパikingの3モードで動作するLeaky Integrate and Fire or Burst (LIFB)ニューロンを提案する。
• 入力データに応じてバースト強度を自己調整可能な微分可能パラメータを用いた学習可能なバースト強度を導入する。
• 各LIFBニューロンを閾値が異なる2つの等価なLIFニューロンに変換するデカップリング手法を開発し、効率的なニューロモーフィックハードウェアマッピングを実現する。
• 非微分可能なスパイクイベントであっても勾配伝搬を維持できるように、サーヴィルグラデントバックプロパゲーションを用いてSNNをエンドツーエンド訓練する。
• SNNの一般化行動を比較するために、LIFBニューロンとLIFニューロンの損失ランドスケープ分析を実施する。特に局所的最小値の平坦さに注目する。
• アブレーションスタディおよび可視化技術を用いて、層間における神経活動パターンとバースト分布を分析する。

実験結果

リサーチクエスチョン

• RQ1 動的バーストをサポートするスパイクニューロンモデルは、SNNの表現能力と性能を向上させることができるか？
• RQ2 適応的バースト強度学習は、固定または非適応的バーストパターンと比較して、より優れた一般化と精度をもたらすか？
• RQ3 LIFBニューロンの性能向上は、計算コストの増加ではなく、より優れたモデリングによるものか？
• RQ4 LIFBニューロンは、PosNegなどの他の三値ニューロンモデルと比較して、精度と効率の面で優れているか？
• RQ5 損失ランドスケープ分析から、LIFBニューロンは一般化能力をどの程度向上させているか？

主な発見

• CIFAR10では、LIFBを用いたSEW-ResNet18が、たった1回のシミュレーションステップでトップ-1精度94.53%を達成し、遅延を顕著に低減した。
• LIFBモデルは、小さなネットワーク構造でもDVS-CIFAR10（トップ-1精度95.15%）およびNCALTECH101で最先端の性能を達成した。
• アブレーションスタディの結果、学習可能なバースト強度がCIFAR10におけるVGG16の精度を94.53%まで向上させ、固定強度ベースライン（例：κ=1.5のとき94.17%）を上回った。
• LIFBニューロンは、6回のシミュレーションステップでCIFAR10でトップ-1精度95.36%を達成し、同等のデカップリングLIFモデル（95.02%）を上回った。
• 損失ランドスケープ分析から、LIFBニューロンはより平坦な局所的最小値に収束し、低い損失を示すことが判明し、一般化能力の向上が示された。
• 可視化により、バーストスパikingが少数だが重要なニューロンのサブセットで発生していることが確認され、バーストモードの生物学的妥当性と機能的意義が裏付けられた。