[論文レビュー] SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network

Cheng Jin, Ruijie Zhu+2 more|arXiv (Cornell University)|Mar 30, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、位相平面解析（PPA）を用いて非線形なスパイクを発生させる生物学的に妥当なニューロンモデルである標準化 Izhikevich トニック（SIT）ニューロンを提案する。このSITニューロンは、スパイキングニューラルネットワーク（SNN）への統合を可能にする。SITとLIFニューロンをハイブリッド化したハイブリッドニューラルネットワーク（HNN）を構築することで、静的およびニューロモーフィックデータセットで最先端の性能を達成した。また、スパイク周波数適応とバースト発火という、従来のLIFニューロンに欠落していた生物学的特徴を再現した。

ABSTRACT

Spiking Neural Networks (SNNs) have piqued researchers' interest because of their capacity to process temporal information and low power consumption. However, current state-of-the-art methods limited their biological plausibility and performance because their neurons are generally built on the simple Leaky-Integrate-and-Fire (LIF) model. Due to the high level of dynamic complexity, modern neuron models have seldom been implemented in SNN practice. In this study, we adopt the Phase Plane Analysis (PPA) technique, a technique often utilized in neurodynamics field, to integrate a recent neuron model, namely, the Izhikevich neuron. Based on the findings in the advancement of neuroscience, the Izhikevich neuron model can be biologically plausible while maintaining comparable computational cost with LIF neurons. By utilizing the adopted PPA, we have accomplished putting neurons built with the modified Izhikevich model into SNN practice, dubbed as the Standardized Izhikevich Tonic (SIT) neuron. For performance, we evaluate the suggested technique for image classification tasks in self-built LIF-and-SIT-consisted SNNs, named Hybrid Neural Network (HNN) on static MNIST, Fashion-MNIST, CIFAR-10 datasets and neuromorphic N-MNIST, CIFAR10-DVS, and DVS128 Gesture datasets. The experimental results indicate that the suggested method achieves comparable accuracy while exhibiting more biologically realistic behaviors on nearly all test datasets, demonstrating the efficiency of this novel strategy in bridging the gap between neurodynamics and SNN practice.

研究の動機と目的

• 神経動力学とSNNの実践的応用の間のギャップを埋めるために、SNNに生物学的に現実的なニューロンモデルを統合すること。
• スパイク周波数適応やバーストダイナミクスを欠如させているため、漏れ積算・発火（LIF）ニューロンの限界を克服すること。
• Izhikevichのような複雑な非線形ニューロンモデルを、体系的なパラメータキャリブレーション手法を用いてSNNに統合可能にする。
• 計算コストと生物学的妥当性のバランスを取るために、LIFとSITニューロンを組み合わせたハイブリッドSNNアーキテクチャ（HNN）を開発すること。
• ニューロンの動的複雑性が高まることで、静的およびイベントベースのデータセットにおけるSNNの性能が向上することを検証すること。

提案手法

• 位相平面解析（PPA）を用いて、Izhikevichニューロンモデルのパラメータ（a, b, c, d）を体系的に分析・キャリブレートし、生物学的妥当性と計算可能性を確保する。
• PPAを用いてIzhikevichモデルの次元なしパラメータを正規化することで、標準化Izhikevichトニック（SIT）ニューロンを提案し、安定的かつ再現可能なダイナミクスを実現する。
• LIFとSITニューロンを別々の畳み込み層に配置することで、計算オーバーヘッドを低減しながらも、複雑なスパイク行動を維持するハイブリッドニューラルネットワーク（HNN）を設計する。
• 膜電位が微分方程式に従って時間的に離散的に更新される離散時間シミュレーションフレームワークを採用：$ U_t = Y_{t-1} + \frac{1}{\tau}(-(U_{t-1}-U_{\text{reset}})+I_t) $、閾値に達した際にスパイクリセットが発生する。
• スパイク周波数適応とバーストモードを生物学的妥当性の主な指標とし、入力依存のスパイクパターンのシミュレーションにより検証する。
• 標準的なSNNトレーニングプロトコルを用いて、静的データセット（MNIST、Fashion-MNIST、CIFAR-10）およびニューロモーフィックデータセット（N-MNIST、CIFAR10-DVS、DVS128 Gesture）の両方でモデルを検証する。

実験結果

リサーチクエスチョン

• RQ1 Izhikevichニューロンモデルは、その高い動的複雑性にもかかわらず、SNNに効果的に統合可能か？
• RQ2 位相平面解析（PPA）を用いることで、Izhikevichニューロンのパラメータを体系的に決定し、生物学的妥当性と計算効率を確保できるか？
• RQ3 SITニューロンは、スパイク周波数適応やバースト発火といった生物学的に現実的な挙動を示すか？
• RQ4 SITとLIFニューロンを組み合わせたハイブリッドSNNは、低消費電力を維持しながらも、標準的なLIFベースのSNNを上回る精度を達成できるか？
• RQ5 SITニューロンの動的複雑性の向上が、スパイク特徴マップの観点から、SNNにおける表現学習の向上に寄与するか？

主な発見

• SITニューロンは、一定入力下で初期ピーク後に発火周波数が低下するスパイク周波数適応（SFA）を効果的に再現しており、生物学的神経行動を模倣している。
• パラメータa, b, c, dを調整することで、SITニューロンはバーストモードで動作可能であり、高い信号対雑音比のスパイクバーストを生成する。これは皮質ニューロンの特徴的挙動である。
• LIFニューロンとは異なり、SITニューロンは異なる入力レベル（例：入力=2 と 入力=3）に対して異なるスパイクパターンを生成するが、LIFニューロンは同じ条件下で同一のパターンを生成する。
• SITベースのスパイク特徴マップは、LIFベースの特徴マップよりも高い発火レートと明確なエッジ表現を示しており、優れた表現学習能力を示している。
• SITとLIFニューロンを組み合わせたハイブリッドニューラルネットワーク（HNN）は、MNIST、Fashion-MNIST、CIFAR-10、N-MNIST、CIFAR10-DVS、DVS128 Gestureの各データセットで、LIFオンリーネットワークと同等またはそれ以上の精度を達成した。
• 本研究では、PPAに基づくパラメータキャリブレーションを用いることで、SITのような複雑な非線形ニューロンモデルがSNNに効果的に導入可能であることを示した。これにより、従来のバックプロパゲーション訓練における失敗を克服した。