[論文レビュー] Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks

Wei Fang, Zhaofei Yu+4 more|arXiv (Cornell University)|Jul 11, 2020

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

この論文は、スパイクニューラルネットワーク（SNNs）のバックプロパゲーションに基づく学習手法を提案しており、合成シナプス重みと膜時間定数を同時に学習するパラメトリックリーフィングインテグレートアンドファイア（PLIF）ニューロンを用いる。膜時間定数τを学習可能にすることで、ネットワークの表現力が向上し、初期化への感受性が低減し、学習が高速化され、MNIST、Fashion-MNIST、CIFAR-10、N-MNIST、CIFAR10-DVS、DVS128 Gestureデータセットにおいて、より少ない時間ステップで最先端の精度を達成する。

ABSTRACT

Spiking Neural Networks (SNNs) have attracted enormous research interest due to temporal information processing capability, low power consumption, and high biological plausibility. However, the formulation of efficient and high-performance learning algorithms for SNNs is still challenging. Most existing learning methods learn weights only, and require manual tuning of the membrane-related parameters that determine the dynamics of a single spiking neuron. These parameters are typically chosen to be the same for all neurons, which limits the diversity of neurons and thus the expressiveness of the resulting SNNs. In this paper, we take inspiration from the observation that membrane-related parameters are different across brain regions, and propose a training algorithm that is capable of learning not only the synaptic weights but also the membrane time constants of SNNs. We show that incorporating learnable membrane time constants can make the network less sensitive to initial values and can speed up learning. In addition, we reevaluate the pooling methods in SNNs and find that max-pooling will not lead to significant information loss and have the advantage of low computation cost and binary compatibility. We evaluate the proposed method for image classification tasks on both traditional static MNIST, Fashion-MNIST, CIFAR-10 datasets, and neuromorphic N-MNIST, CIFAR10-DVS, DVS128 Gesture datasets. The experiment results show that the proposed method outperforms the state-of-the-art accuracy on nearly all datasets, using fewer time-steps. Our codes are available at https://github.com/fangwei123456/Parametric-Leaky-Integrate-and-Fire-Spiking-Neuron.

研究の動機と目的

• 固定された膜時間定数によるSNNの制限を解消し、ニューロンの多様性とネットワークの表現力を向上させること。
• 合成シナプス重みと膜時間定数を同時に最適化するバックプロパゲーションに基づく学習アルゴリズムを開発すること。
• SNNにおけるプーリング戦略を再評価し、マックスプーリングが顕著な情報損失を引き起こすという仮定に疑問を呈すること。
• 静的および神経形状スパイクデータセットの両方で、性能と効率の向上を示すこと。

提案手法

• 各ニューロンごとに学習可能なパrameterである膜時間定数τを有するパラメトリックリーフィングインテグレートアンドファイア（PLIF）ニューロンを導入し、ニューロン統合時間の動的適応を可能にする。
• 時間経過による誤差逆伝播（BPTT）を拡張し、τに関する勾配を含め、重みと時間定数のエンドツーエンド学習を可能にする。
• 入力ピクセルをスパイクパターンに直接変換する学習可能な入力エンコーダー（Conv2d + スパイクニューロン）を採用し、ポisson符号化や遅延符号化といった固定エンコーダーに代わる。
• SNNにおけるマックスプーリングを採用し、時間的スパarsityと非同期発火パターンを保持しながら計算コストを削減することを示す。
• 静的データセット（例：MNIST）と神経形状データセット（例：N-MNIST、DVS128 Gesture）の両方を対象に、PLIFベースのSNNを画像分類タスクに適用する。
• τをニューロンごとのパラメータとして初期化し、訓練中にニューロンダイナミクスの多様性を確保する。

実験結果

リサーチクエスチョン

• RQ1 固定τと比較して、膜時間定数の学習可能化はSNNの表現力と性能を向上させるか？
• RQ2 重みとτの共同最適化は、学習の安定性と収束速度を向上させるか？
• RQ3 SNNにおけるマックスプーリングは真に性能に悪影響を及けるのか、それとも重要な時間的情報を保持できるか？
• RQ4 学習可能なエンコーダーは、SNNにおける標準的なレート符号化や遅延符号化を上回る性能を発揮するか？
• RQ5 提案手法は、より少ない時間ステップで静的および神経形状データセットの両方で最先端の精度を達成するか？

主な発見

• 提案されたPLIF-SNNは、静的MNIST、Fashion-MNIST、CIFAR-10データセットで最先端の精度を達成し、先行するSOTA手法を上回る。
• 神経形状データセット（N-MNIST、CIFAR10-DVS、DVS128 Gesture）において、より少ない時間ステップで既存のSNNを上回る高い精度を達成する。
• 学習可能なτを有するネットワークは、固定τを有するSNNと比較して、重み初期化に依存しにくく、より速く収束する。
• SNNにおけるマックスプーリングは非同期発火パターンを保持し、計算コストを削減するが、性能の著しい低下を来さない。一部のケースでは平均プーリングを上回る性能を示す。
• 学習可能なエンコーダー（Conv2d + スパイクニューロン）は、エッジやジェスチャーといった意味的特徴を効果的に抽出でき、DVS128 Gestureにおけるプレイヤーのような不要な情報をフィルタリングできる。
• 短い時間統合ウィンドウで高い精度を達成することで、効果的な時間的符号化を示し、モデルの安定性と効率性を実証する。