[論文レビュー] Unsupervised Regenerative Learning of Hierarchical Features in Spiking Deep Networks for Object Recognition

Priyadarshini Panda, Kaushik Roy|arXiv (Cornell University)|Feb 3, 2016

Advanced Memory and Neural Computing参考文献 23被引用数 4

ひとこと要約

この論文は、スパイクのタイミングと遅延を活用して、自己符号化器・デコーダーの原則に従い、階層的特徴を段階的に学習する非教師あり再生成学習フレームワークを提案する。スパイクベースのスパース表現により計算が効率的になり、MNIST と CIFAR-10 でそれぞれ 0.92% および 29.84% の分類誤差を達成する。

ABSTRACT

We present a spike-based unsupervised regenerative learning scheme to train Spiking Deep Networks (SpikeCNN) for object recognition problems using biologically realistic leaky integrate-and-fire neurons. The training methodology is based on the Auto-Encoder learning model wherein the hierarchical network is trained layer wise using the encoder-decoder principle. Regenerative learning uses spike-timing information and inherent latencies to update the weights and learn representative levels for each convolutional layer in an unsupervised manner. The features learnt from the final layer in the hierarchy are then fed to an output layer. The output layer is trained with supervision by showing a fraction of the labeled training dataset and performs the overall classification of the input. Our proposed methodology yields 0.92%/29.84% classification error on MNIST/CIFAR10 datasets which is comparable with state-of-the-art results. The proposed methodology also introduces sparsity in the hierarchical feature representations on account of event-based coding resulting in computationally efficient learning.

研究の動機と目的

• オブジェクト認識における階層的特徴を捉える、生物学的に妥当な非教師あり学習手法を開発すること。
• スパイクベースの符号化によるスパースな特徴表現を用いて、ディープスパイキングネットワークにおける効率的な特徴表現を実現すること。
• バックプロパゲーションを必要とせず、スパイクタイミングと内在的な神経細胞の遅延に基づく再生成学習による重み更新を統合すること。
• 最小限の教師あり微調整を伴う非教師あり事前学習を組み合わせることで、分類精度を向上させること。
• 生物学的に現実的なニューロンのみを用いて、標準ベンチマークである MNIST と CIFAR-10 で競争力のある性能を達成すること。

提案手法

• ネットワークは、生物学的スパイク行動を模倣するために、リークイェイト・インテグレートアンドファイア（LIF）ニューロンを用いる。
• 各畳み込み層が入力を符号化された特徴から再構築できるようにする、階層的自己符号化器・デコーダー訓練方式を適用する。
• スパイクタイミングと神経細胞固有の遅延に基づいて重みを更新する再生成学習により、非教師あり特徴学習が可能になる。
• スパイクベースの符号化により、特徴表現のスパarsityが導入され、計算負荷が低減する。
• 最終的な階層的表現は、少量のラベル付きデータで訓練された教師あり出力層に供給される。
• 非教師あり事前学習と最小限の教師あり微調整を組み合わせることで、分類が達成される。

実験結果

リサーチクエスチョン

• RQ1 スパイクタイミングと遅延は、ディープスパイキングネットワークを非教師ありで効果的に学習するために適切に利用できるか？
• RQ2 スパイキングネットワークにおける再生成自己符号化器・デコーダー枠組みにより、階層的特徴はどの程度適切に学習可能か？
• RQ3 イベントベースの符号化とスパarsityは、ディープスパイキングネットワークにおける計算効率をどの程度向上させるか？
• RQ4 非教師あり事前学習後に、少量のラベル付きデータのみを用いて、MNIST と CIFAR-10 でどの程度の分類精度が達成できるか？
• RQ5 この生物学的にインspiredな手法は、標準ベンチマークで最先端のディープラーニングモデルと比較して、どの程度の性能を示すか？

主な発見

• 提案手法は、MNIST データセットで分類誤差 0.92% を達成し、最先端の性能に近づいた。
• CIFAR-10 データセットでは、分類誤差 29.84% を達成し、最小限の監視下でも優れた一般化性能を示した。
• イベントベースのスパイク符号化により、ネットワークはスパースで階層的な表現を学習し、計算効率が向上した。
• スパイクタイミングと遅延に基づく再生成学習により、バックプロパゲーションを必要とせず効果的な非教師あり重み更新が可能になった。
• 非教師あり事前学習と少量のラベル付きサブセットを用いた教師あり微調整の組み合わせにより、低ラベルコストで高い精度が得られた。
• モデルは、生物学的に妥当な学習メカニズムが、標準的なオブジェクト認識タスクで競争力のある性能を達成できることを示した。