[論文レビュー] Deep Convolutional Spiking Neural Networks for Image Classification

Ruthvik Vaila, John Chiasson+1 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Memory and Neural Computing被引用数 12

ひとこと要約

本論文は、MNISTおよびN-MNISTデータセットにおける画像分類のため、レートベースのスパイクタイム依存可塑性（R-STDP）を用いて訓練される深層畝状スパイクニューラルネットワーク（SNN）を提案する。SNNは特徴量のSVM分類によりMNISTで98.8％の正確性を達成し、災難的忘却の低減と重み初期化への感受性の低さを示し、従来のバックプロパゲーションネットワークと比較してエネルギー効率が高く、頑健であることが明らかになった。

ABSTRACT

Spiking neural networks are biologically plausible counterparts of the artificial neural networks, artificial neural networks are usually trained with stochastic gradient descent and spiking neural networks are trained with spike timing dependant plasticity. Training deep convolutional neural networks is a memory and power intensive job. Spiking networks could potentially help in reducing the power usage. There is a large pool of tools for one to chose to train artificial neural networks of any size, on the other hand all the available tools to simulate spiking neural networks are geared towards computational neuroscience applications and they are not suitable for real life applications. In this work we focus on implementing a spiking CNN using Tensorflow to examine behaviour of the network and empirically study the effect of various parameters on learning capabilities and also study catastrophic forgetting in the spiking CNN and weight initialization problem in R-STDP using MNIST and N-MNIST data sets.

研究の動機と目的

• 深層畝状スパイクニューラルネットワークをレートベースSTDP（R-STDP）で訓練する方法の実現可能性を検討すること。
• 重み初期化、側方抑制、過学習がSNNの学習性能に与える影響を評価すること。
• R-STDPと従来のバックプロパゲーションおよびSVMベース分類器との間で分類正確性と安定性を比較すること。
• 標準的なディープネットワークと比較して、スパイクネットワークにおける災難的忘却の発現様式を分析すること。
• MNISTおよびN-MNISTデータセットを用いて、SNNの収束行動と最適な訓練期間を経験的に調査すること。

提案手法

• TensorFlowを用いて、複数の畝状層およびプーリング層を備えた深層畝状スパイクニューラルネットワークアーキテクチャを実装した。
• スパイクタイム依存可塑性（STDP）を非教師あり学習ルールとして適用し、事前・事後のスパイクタイミングに基づいて重みを更新する簡略化されたR-STDPモデルを採用した。
• 出力スパイクは、合算されたシナプス後ポテンシャルが閾値γを超えた場合に発生する膜電位モデルを用いた。
• 特徴量抽出はL3およびL4層の畝状カーネルを用い、各特徴マップ内のニューロン間で重みを共有した。
• 分類は、最終畝状層からの特徴量を用いて2層のバックプロパゲーションネットワークまたはSVMを用いて実施した。
• 過学習の検出のため、収束要因と訓練ステップ間の重み変化の大きさを監視して収束をモニタリングした。

実験結果

リサーチクエスチョン

• RQ1 異なる重み初期化スキームにおける深層SNNのR-STDP訓練性能はどのように変化するか？
• RQ2 過学習がスパイク畝状ネットワークの分類正確性に及ぼす影響はどの程度か？
• RQ3 標準的なバックプロパゲーションネットワークと比較して、スパイクCNNにおける災難的忘却はどのように現れるか？
• RQ4 明示的なバックプロパゲーションなしで、R-STDPはMNISTおよびN-MNISTデータセットから複雑な特徴を効果的に学習できるか？
• RQ5 SNNの最適な訓練期間は何か？収束はどのように信頼性高く検出できるか？

主な発見

• SNNは、特徴量をSVMで分類した場合、MNISTデータセットで98.8％のテスト正確性を達成し、2層のバックプロパゲーションネットワークを上回った。
• N-MNISTデータセットでは、SVM分類により98.32％の正確性に達し、スパイクデータに対する強力な性能を示した。
• SNNでは災難的忘却が顕著に低減された：2つの非重複データセットで訓練した後、90.71％の正確性を維持し、10％のファインチューニングデータを追加することで95.1％まで向上した。
• 過学習によりテスト正確性が1％〜2％低下し、重み変化が約100回の訓練インターバル（n ≈ 100）で安定化したため、早期停止が必要であることが示された。
• 収束要因はn=80からn=100の間で急激に低下し、過学習の始まりを示唆し、訓練収束の代理指標として使用された。
• R-STDPは重み初期化に極めて感受性が高く、不適切な初期化は特徴学習の劣化と正確性の低下を引き起こした。