[論文レビュー] Bio-Inspired Spiking Convolutional Neural Network using Layer-wise Sparse Coding and STDP Learning

Amirhossein Tavanaei, Anthony S. Maida|arXiv (Cornell University)|Nov 9, 2016

Advanced Memory and Neural Computing参考文献 46被引用数 60

ひとこと要約

本論文では、スパースコーディングと確率的スパイク時間依存可塑性（STDP）を用いた階層的で局所的な学習ルールにより、バックプロパゲーションを避ける生物学的に妥当なスパイクニューラルネットワークを提案する。MNISTで98.36%の精度を達成し、ノイズに強く、スタック可能な生物学的に妥当な階層的特徴抽出を実現した。

ABSTRACT

Hierarchical feature discovery using non-spiking convolutional neural networks (CNNs) has attracted much recent interest in machine learning and computer vision. However, it is still not well understood how to create a biologically plausible network of brain-like, spiking neurons with multi-layer, unsupervised learning. This paper explores a novel bio-inspired spiking CNN that is trained in a greedy, layer-wise fashion. The proposed network consists of a spiking convolutional-pooling layer followed by a feature discovery layer extracting independent visual features. Kernels for the convolutional layer are trained using local learning. The learning is implemented using a sparse, spiking auto-encoder representing primary visual features. The feature discovery layer extracts independent features by probabilistic, leaky integrate-and-fire (LIF) neurons that are sparsely active in response to stimuli. The layer of the probabilistic, LIF neurons implicitly provides lateral inhibitions to extract sparse and independent features. Experimental results show that the convolutional layer is stack-admissible, enabling it to support a multi-layer learning. The visual features obtained from the proposed probabilistic LIF neurons in the feature discovery layer are utilized for training a classifier. Classification results contribute to the independent and informative visual features extracted in a hierarchy of convolutional and feature discovery layers. The proposed model is evaluated on the MNIST digit dataset using clean and noisy images. The recognition performance for clean images is above 98%. The performance loss for recognizing the noisy images is in the range 0.1% to 8.5% depending on noise types and densities. This level of performance loss indicates that the network is robust to additive noise.

研究の動機と目的

• バックプロパゲーションを回避し、局所的学習ルールに依存する生物学的に妥当なマルチレイヤーのスパイクCNNの開発。
• 畳み込み層と特徴発見層の両方を、非教師ありで局所的な学習メカニズムにより直接訓練可能にする。
• サルの腹側視覚ストリームに類似した階層的特徴抽出を再現可能なスタック可能なネットワークアーキテクチャの実現。
• 確率的膜電位正規化とスパースコーディングを用いることで、加法的ノイズに対する耐性を向上させる。
• 生物学的に妥当な学習ルールのみを用いて完全に訓練されたスパイクネットワークによるMNIST分類性能の高水準な実現

提案手法

• 局所的学習により、スパースでスパイクを発生させる自己符号化器を用いて畳み込みフィルタを訓練し、V1単純細胞に類似した受容 field を生成する。
• 特徴発見層で確率的リーフィング・インテグレート・アンド・ファイア（LIF）ニューロンモデルを採用し、独立した視覚特徴を抽出する。
• 膜電位と発火確率の両方を組み合わせた確率的STDP学習ルールを適用し、耐性がありスパースな特徴学習を可能にする。
• 確率的ニューロンダイナミクスによる側方抑制を導入し、特徴表現のスパarsityと独立性を強化する。
• グリーディで階層的な学習：まず畳み込み・プーリング層を訓練し、その出力を特徴発見層の入力として使用する。
• プーリング層からのスパイクトレインを、入力画像のノイズ除去済みでスパースな表現として利用し、ノイズ耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションを一切用いず、局所的で非教師ありの学習ルールのみでスパイクCNNを訓練可能か？
• RQ2 畳み込み層と特徴発見層の両方が生物学的に妥当なメカニズムで訓練可能でありながら、階層的特徴抽象化を維持できるか？
• RQ3 確率的STDPと確率的LIFニューロンを用いることで、決定的代替手法に比べて特徴の独立性とノイズ耐性が向上するか？
• RQ4 提案されたネットワークはスタック可能であり、階層的学習によりより深いアーキテクチャの構築が可能か？
• RQ5 ノイズを含むMNISTデータ上で、ネットワークの性能はどの程度劣化するか？また、ノイズの種別や密度に応じて性能低下はどのように変化するか？

主な発見

• 提案されたスパイクCNNは、完全なMNISTデータセットで98.36%の分類精度を達成し、既存の多数のスパイクネットワーク手法を上回った。
• 初期実験では、クリーンなMNIST画像で最大97.5%の精度を達成し、有効な特徴学習が行われたことが確認された。
• 加法的ノイズに対して強い耐性を示し、ノイズの種別や密度に応じて性能低下が0.1%〜8.5%の範囲で変動した。
• 確率的LIFニューロンと確率的STDPを用いた特徴発見層は、シグモイド型STDPや抑制なしのバージョンに比べて優れた性能を示した。
• 畳み込み層は、V1受容 field に類似したスパースで独立した視覚特徴を生成し、生物学的妥当性とスタック可能であることを裏付けた。
• プーリング層からのスパイクベース表現は、ノイズ除去機構として機能し、入力の汚損に対する耐性を向上させた。