[論文レビュー] Leaky Integrate-and-Fire Spiking Neuron with Learnable Membrane Time Parameter

Wei Mark Fang|arXiv (Cornell University)|Jul 11, 2020

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本論文では、膜時間定数 $\tau$ を固定されたハイパーパrameterではなく、学習可能なパラメータとするパラメトリック漏れ積分・放電（PLIF）スパイクニューロンを提案する。$\tau$ を学習中に最適化可能にすることで、MNIST、CIFAR-10、および神経形状データセットの複数のデータセットにおいて、従来の固定$\tau$を用いたSNNよりも高い性能を達成する。

ABSTRACT

The Spiking Neural Networks (SNNs) have attracted research interest due to its temporal information processing capability, low power consumption, and high biological plausibility. The Leaky Integrate-and-Fire (LIF) neuron model is one of the most popular spiking neuron models used in SNNs for it achieves a balance between computing cost and biological plausibility. The most important parameter of a LIF neuron is the membrane time constant $ au$, which determines the decay rate of membrane potential. The value of $ au$ plays a crucial role in SNNs containing LIF neurons. However, $ au$ is usually treated as a hyper-parameter, which is preset before training SNNs and adjusted manually. In this article, we propose a novel spiking neuron, namely parametric Leaky Integrate-and-Fire (PLIF) neuron, whose $ au$ is a learnable parameter rather than an empirical hyper-parameter. We evaluate the performance of SNNs with PLIF neurons for image classification tasks on both traditional static MNIST, Fashion-MNIST, CIFAR-10 datasets, and neuromorphic N-MNIST, CIFAR10-DVS datasets. The experiment results show that SNNs augmented by PLIF neurons outperform those with conventional spiking neurons.

研究の動機と目的

• 漏れ積分・放電（LIF）ニューロンにおける固定された膜時間定数 $\tau$ の制限を是正すること。通常、$\tau$ はハイパーパrameterとして設定される。
• 膜時間定数 $\tau$ をトレーニング可能なパラメータとして扱うことで、スパイクニューラルネットワーク（SNN）の表現能力と性能を向上させること。
• 学習可能な $\tau$ が、静的データおよび神経形状データを含む多様なデータセットにおいてSNNの性能を向上させるかどうかを評価すること。

提案手法

• 膜時間定数 $\tau$ を微分可能で学習可能なパラメータとする新しいスパイクニューロンモデル、パラメトリック漏れ積分・放電（PLIF）ニューロンを提案する。
• 勾配ベースの最適化を用いて、バックプロパゲーション中に $\tau$ を更新可能にする仕組みをSNNに統合する。
• 標準的なLIF方程式を用いて膜電位のダイナミクスを定式化するが、$\tau$ をトレーニング中に最適化可能なパラメータとして扱う。
• 標準的な時間経過による誤差逆伝播（BPTT）または代替勾配法を用いてSNNを訓練し、$\tau$ を標準的な最適化ステップで更新する。
• 汎化性能を評価するために、静的データセット（MNIST、Fashion-MNIST、CIFAR-10）および神経形状データセット（N-MNIST、CIFAR10-DVS）の両方でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な膜時間定数 $\tau$ は、画像分類タスクにおけるスパイクニューラルネットワーク（SNN）の性能を向上させることができるか？
• RQ2 異なるデータセットにおいて、学習可能な $\tau$ を用いたSNNの性能は、固定 $\tau$ を用いたSNNと比較してどのように異なるか？
• RQ3 PLIFニューロンは、静的データおよび神経形状データの両方において、良好に一般化するか？

主な発見

• MNIST、Fashion-MNIST、CIFAR-10、N-MNIST、CIFAR10-DVSを含む、評価されたすべてのデータセットで、PLIFニューロンを搭載したSNNは、従来の固定$\tau$を用いたSNNを上回る性能を示した。
• 学習可能な $\tau$ パラメータにより、データ分布および時間的ダイナミクスへの適応性が向上し、分類精度が向上した。
• 提案されたPLIFニューロンは、同等のアーキテクチャとトレーニングプロトコルを用いたSNNのベンチマークにおいて、最先端の性能を達成した。
• 静的データおよび神経形状データの両方で一貫した改善が得られたため、学習可能な $\tau$ メカニズムの強靭さと一般化能力が示された。