[論文レビュー] Ternary Spiking Neural Networks Enhanced by Complemented Neurons and Membrane Potential Aggregation

Boxuan Zhang, Jiaxin Wang+2 more|arXiv (Cornell University)|Jan 22, 2026

Advanced Memory and Neural Computing被引用数 0

ひとこと要約

本論文は complemented テルンリーネルニューロン CTSN と Temporal Membrane Potential Regularization TMPR を提案し、三値SNNにおける情報喪失や勾配の消失、膜電位の不規則性を解決。静的およびニューロモルフィックデータで最新の結果を達成。

ABSTRACT

Spiking Neural Networks (SNNs) are promising energy-efficient models and powerful framworks of modeling neuron dynamics. However, existing binary spiking neurons exhibit limited biological plausibilities and low information capacity. Recently developed ternary spiking neuron possesses higher consistency with biological principles (i.e. excitation-inhibition balance mechanism). Despite of this, the ternary spiking neuron suffers from defects including iterative information loss, temporal gradient vanishing and irregular distributions of membrane potentials. To address these issues, we propose Complemented Ternary Spiking Neuron (CTSN), a novel ternary spiking neuron model that incorporates an learnable complemental term to store information from historical inputs. CTSN effectively improves the deficiencies of ternary spiking neuron, while the embedded learnable factors enable CTSN to adaptively adjust neuron dynamics, providing strong neural heterogeneity. Furthermore, based on the temporal evolution features of ternary spiking neurons' membrane potential distributions, we propose the Temporal Membrane Potential Regularization (TMPR) training method. TMPR introduces time-varying regularization strategy utilizing membrane potentials, furhter enhancing the training process by creating extra backpropagation paths. We validate our methods through extensive experiments on various datasets, demonstrating remarkable performance advances.

研究の動機と目的

• 情報容量と生物学的妥当性の観点からビット/トライ値スパイキングニューロンの限界を動機づける。
• 歴史的入力情報を学習可能な補足項 h(t) によって保存する CTSN を提案。
• 膜電位の進化を正規化し勾配流を改善する TMPR を導入。
• backbone に対して CIFAR-10/100、ImageNet-100、CIFAR10-DVS で性能改善を実証。
• 方法と勾配消失の軽減・膜電位の滑らかさとの関連を分析。

提案手法

• 統合過程に学習可能な補足項 h(t) を追加して歴史情報を保持する CTSN を導入。
• 補完膜電位 tilde u(t) = h(t) + x(t) を定義し、学習可能関数 G で更新して o(t) を生成。
• 補完ダイナミクスを制御するパラメータ(alpha, beta, gamma) はシグモイドで (0,1) に制約。
• TMPR を層・ timestep ごとの膜電位の集約に基づく時空正則化項として cross-entropy 損失に加える。
• CTSN は時間的なバックプロパゲーション経路を、TMPR は直接のバックプロパゲーション経路を追加して勾配消失を緩和する解析を提供。
• CTS N と TMPR の個別・共同の寄与をアブレーションで示す。

実験結果

リサーチクエスチョン

• RQ1 補完された三値スパイキングニューロンは反復情報喪失を緩和するために歴史情報を保存できるか？
• RQ2 膜電位の時刻依存正規化は三値SNNにおける勾配の流れと訓練の安定性を改善するか？
• RQ3 CTSN と TMPR はデータセット全体で膜電位分布とニューロンのヘテロジニアリティにどう影響するか？
• RQ4 従来の三値SNN と比較して CIFAR-10/100、ImageNet-100、CIFAR10-DVS における性能はどの程度改善されるか？

主な発見

Dataset	Method	Architecture	T	Accuracy (%)
CIFAR-10	Ours	ResNet19	4	96.46
CIFAR-10	ResNet20	(4 timesteps)	6	94.92/95.01
CIFAR-100	Ours	ResNet19	4	81.19
CIFAR-100	Ours	ResNet20	4	74.82/75.12
ImageNet-100	Ours	ResNet34	4	83.78
ImageNet-100	SEW-ResNet34	4	85.06
CIFAR10-DVS	Ours	VGG16	10	79.06
CIFAR10-DVS	Ours	ResNet20	10	81.23
CIFAR10-DVS	VGGSNN	10	83.20

• 補完項を学習可能とした CTSN により時間的勾配伝播が大幅に改善され、膜電位分布が滑らかになる。
• TMPR は膜電位の二乗を正規化することで追加のバックプロパゲーション経路を提供し、勾配流を強化。
• ResNet 系バックボーンで CIFAR-10/100 において CTSN が最上位クラスの精度を達成、例: CIFAR-10: 96.46%（4 timesteps）； CIFAR-100: 81.19%（4 timesteps）。
• ImageNet-100 で 4 timesteps の場合 83.78% の精度を達成し、競合するSNN手法をほぼ上回るまたは凌駕。
• CIFAR10-DVS（ニューロモルフィック）では 10 timesteps で VGG16: 79.06%、ResNet20: 81.23%、VGGSNN は open-code 再現で 83.20%を達成。
• アブレーション研究により CTSN は平易な三値スパイキングニューロンよりも全 timesteps で優れており、TMPR はさらに性能を向上させる（ラムダの感度分析）。