[論文レビュー] Convolutional Spike Timing Dependent Plasticity based Feature Learning in Spiking Neural Networks

Priyadarshini Panda, Gopalakrishnan Srinivasan+1 more|arXiv (Cornell University)|Mar 10, 2017

Advanced Memory and Neural Computing参考文献 22被引用数 14

ひとこと要約

本稿では、漏れ積分および放電（Leaky-Integrate-and-Fire, LIF）ニューロンを用いた畝状のスパイクタイミング依存可塑性（STDP）を用いる生物学的に妥当な畳み込み型スパイクニューラルネットワーク（SNN）を提案する。このモデルは、教師なし学習により代表的な視覚的特徴を学習する。共有重みカーネルを採用することで、より優れた耐障害性とスパarsityを達成し、完全結合SNNと比較して10倍少ない学習例で性能を上回り、MNISTの数字において強力なセット外一般化を示した。

ABSTRACT

Brain-inspired learning models attempt to mimic the cortical architecture and computations performed in the neurons and synapses constituting the human brain to achieve its efficiency in cognitive tasks. In this work, we present convolutional spike timing dependent plasticity based feature learning with biologically plausible leaky-integrate-and-fire neurons in Spiking Neural Networks (SNNs). We use shared weight kernels that are trained to encode representative features underlying the input patterns thereby improving the sparsity as well as the robustness of the learning model. We demonstrate that the proposed unsupervised learning methodology learns several visual categories for object recognition with fewer number of examples and outperforms traditional fully-connected SNN architectures while yielding competitive accuracy. Additionally, we observe that the learning model performs out-of-set generalization further making the proposed biologically plausible framework a viable and efficient architecture for future neuromorphic applications.

研究の動機と目的

• 完全結合SNNと比較してシナプス記憶量と学習の複雑さを低減する、より効率的で生物学的に妥当なSNNアーキテクチャの開発。
• 共有重みカーネルを用いた畳み込み型STDPにより、SNNにおける教師なし、スパースで耐障害性の高い特徴学習の実現。
• 限られた学習データから階層的かつ不変の特徴を学習することで、特にセット外一般化の能力を向上。
• 従来のSNNと比較して著しく少ない学習例で競争力のある精度を達成できることを示し、人間の少サンプル学習に近い性能を実現すること。

提案手法

• 入力パターンからの空間的特徴を抽出するために、共有重みカーネルを用いた1層の畳み込み型SNNを採用。
• ニューロンは生物学的に現実的なスパイク行動を再現するため、漏れ積分および放電（Leaky-Integrate-and-Fire, LIF）モデルを用いる。
• シナプス重みはスパイクタイミング依存可塑性（STDP）により更新され、前駆動および後駆動スパイクのタイミングに応じて接続を強化または弱体化させる生物学的に妥当な学習ルールである。
• 時間的符号化を用いて入力パターンを表現し、ラベルなしのデータで教師なし学習を可能にする。
• 特徴学習はネットワーク全体におけるスパイクの時間的相関性によって駆動され、入力データの背後にあるパターンをシステムが同定可能となる。
• アーキテクチャ自体が空間的および回転的ばらつきを内蔵しており、入力の変動に対して耐障害性が向上する。

実験結果

リサーチクエスチョン

• RQ1 共有重みカーネルとSTDP学習を用いた畳み込み型SNNは、完全結合SNNと比較して著しく少ない学習例で競争力のある性能を達成できるか？
• RQ2 提案されたSNNアーキテクチャは、学習中に存在しなかった未確認のクラスを認識できる程度、セット外一般化をどの程度サポートするか？
• RQ3 完全結合STDPベースのSNNと比較して、畳み込み型STDPの導入が特徴表現と耐障害性をどのように向上させるか？
• RQ4 提案されたSNNは、最小限のラベル付きデータから顕著で一般化可能な特徴を学習しながら、エネルギー効率と生物学的妥当性を維持できるか？

主な発見

• 提案された畳み込み型SNNは、'6'と'7'の各10例ずつの学習後、未学習のMNIST数字（'9'、'1'）で94.4％の精度を達成し、強力なセット外一般化を示した。
• '2'と'8'の学習後に'0'と'3'のテストを実施した結果、74.6％の精度を記録した。これは、学習とテストのパターン間に構造的類似性がある場合に一般化が成功することを示している。
• '6'と'7'の学習に使用されたニューロンは、それぞれ'9'と'1'に対して強いスパイク反応を示した。これは、クラス間で共有される抽象的特徴が学習されたことを確認している。
• モデルは、約10倍少ない学習例で学習されたにもかかわらず、従来の完全結合SNNを常に上回る認識精度を示した。
• 共有重み畳み込みアーキテクチャにより、シナプス記憶量と学習の複雑さが低減され、効率性とスパarsityが向上した。
• 未学習のクラスへの一般化能力の高さは、STDPに基づく特徴学習が、不変で高レベルの視覚入力表現を捉えていることを示唆している。