[論文レビュー] GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks

Xingting Yao, Fanrong Li+2 more|arXiv (Cornell University)|Oct 25, 2022

Advanced Memory and Neural Computing被引用数 45

ひとこと要約

GLIF は学習可能なゲーティングを介して LIF ニューロンの複数の生物特徴を統合し、神経動的範囲を拡張して SNN の性能を改善します。また、チャネルごとのパラメータ学習とエンドツーエンド訓練を特徴とします。

ABSTRACT

Spiking Neural Networks (SNNs) have been studied over decades to incorporate their biological plausibility and leverage their promising energy efficiency. Throughout existing SNNs, the leaky integrate-and-fire (LIF) model is commonly adopted to formulate the spiking neuron and evolves into numerous variants with different biological features. However, most LIF-based neurons support only single biological feature in different neuronal behaviors, limiting their expressiveness and neuronal dynamic diversity. In this paper, we propose GLIF, a unified spiking neuron, to fuse different bio-features in different neuronal behaviors, enlarging the representation space of spiking neurons. In GLIF, gating factors, which are exploited to determine the proportion of the fused bio-features, are learnable during training. Combining all learnable membrane-related parameters, our method can make spiking neurons different and constantly changing, thus increasing the heterogeneity and adaptivity of spiking neurons. Extensive experiments on a variety of datasets demonstrate that our method obtains superior performance compared with other SNNs by simply changing their neuronal formulations to GLIF. In particular, we train a spiking ResNet-19 with GLIF and achieve $77.35\%$ top-1 accuracy with six time steps on CIFAR-100, which has advanced the state-of-the-art. Codes are available at \url{https://github.com/Ikarosy/Gated-LIF}.

研究の動機と目的

• LIF 行動における複数の生物特徴を統合してスパイキングニューロンの表現多様性を高める。
• 膜漏れ、蓄積、スパイク開始における二重生物特徴をバランスさせる学習可能なゲーティング要因を導入する。
• 訓練中のニューロンの異質性と適応性を高めるためにチャネルごとのパラメータ学習を有効にする。
• GLIFベースの SNN が静的およびニューロモルフィックデータセットで最先端の性能を示す。
• ゲーティング、チャネルごとのパラメータ化、特徴融合の寄与を検証するアブレーション研究を提供する。

提案手法

• ゲーティングユニットを介して漏れ、蓄積、スパイク開始を双生の生物特徴として融合する統一スパイキングニューロン GLIF を提案する。
• L(t,l)=GLIF の膜漏れを線形減衰と指数減衰の融合として G_alpha によって定義する。
• I(t,l) を柔軟/標準コード化パターンで統合蓄積として G_beta によって定義する。
• F(t,l) をソフト/ハードリセット融合として G_gamma によって制御する。
• プリミティブとゲーティング要因をチャネルごとにパラメータ共有スキームで学習可能にする。
• Heaviside 活性化の代理勾配を用いた時系列バックプロパゲーションで GLIF-SNN をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ゲーティングユニットを介した LIF モデルの二重生物特徴の融合は SNN の表現力と性能を高めるか。
• RQ2 ゲーティング要因とチャネルごとの膜パラメータの学習はデータセット全体で異質性と精度を改善するか。
• RQ3 GLIF は静的およびニューロモルフィックデータに対して単純な LIF バリアントや他のパラメトリックスパイキングニューロンと比較してどうか。
• RQ4 チャネルごとの共有と層ごとの共有の影響はモデル性能にどう現れるか。
• RQ5 学習可能なゲーティング要因は報告された利得を達成するために必須か。

主な発見

モデル	アーキテクチャ	時間ステップ (T)	トップ-1 / 精度
GLIF	CIFAR-100 の ResNet-19	6	77.35 ± 0.07
GLIF	CIFAR-100 の ResNet-18	4	76.39 ± 0.?
GLIF	ImageNet の ResNet-34	6	69.09
GLIF	ImageNet の MS-ResNet-18	6	68.11
GLIF	CIFAR10-DVS の 7B-wideNet	16	78.10

• GLIF は CIFAR-10/100 の標準アーキテクチャと限られたステップ数で最先端を上回る（例：ResNet-19 の 6 ステップで CIFAR-100 の top-1 が 77.35%）。
• ImageNet では GLIF が ResNet-34 / MS-ResNet-18 のベースラインを改善（例：GLIF-ResNet-34 が 6 ステップで検証精度 69.09%、STBP-tdBN より高い）。
• GLIF は CIFAR10-DVS で 7B-wideNet を用いて 16 ステップ、78.10% の精度を達成し、SEW+PLIF などの関連手法を上回る。
• アブレーションにより GLIF のゲーティング因子とチャネルごとのパラメータ化が単純な LIF バリアントや層ごと共有を著しく凌駕することが示された。
• 学習可能なゲーティング因子（静的ではない）とチャネルごとの共有は複数の実験で一貫して性能を改善する。