[論文レビュー] Learning Sparse, Distributed Representations using the Hebbian Principle

Aseem Wadhwa, Upamanyu Madhow|arXiv (Cornell University)|Nov 14, 2016

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 3

ひとこと要約

本稿では、コスト関数の最適化を必要とせず、疎且つ分散型の表現を学習する神経可塑的で教師なしのアルゴリズム、適応的ヘブシアン学習（AHL）を提案する。AHLは、シナプスおよびニューロンレベルの競争を組み込んだ競争的ヘブシアンルールを用いる。MNIST、NORB、CIFAR-10の標準画像データセットにおいて、自己符号化器と同等またはそれ以上の分類性能を達成し、収束が著しく速く、ハイパーパrameterチューニングが最小限である。

ABSTRACT

The "fire together, wire together" Hebbian model is a central principle for learning in neuroscience, but surprisingly, it has found limited applicability in modern machine learning. In this paper, we take a first step towards bridging this gap, by developing flavors of competitive Hebbian learning which produce sparse, distributed neural codes using online adaptation with minimal tuning. We propose an unsupervised algorithm, termed Adaptive Hebbian Learning (AHL). We illustrate the distributed nature of the learned representations via output entropy computations for synthetic data, and demonstrate superior performance, compared to standard alternatives such as autoencoders, in training a deep convolutional net on standard image datasets.

研究の動機と目的

• 神経科学にインspiredされたヘブシアン学習と実用的機械学習のギャップを埋めるために、スケーラブルで生物学的に妥当な教師なし学習アルゴリズムを開発すること。
• 明示的なコスト関数の最適化に依存せずに、神経コードの望ましい性質（疎性、分散性、非相関性）を直接強制すること。
• ヘブシアン原理に競争を組み合わせることで、標準的な画像分類ベンチマークで競争力のある性能を達成できることを示すこと。
• 深層ネットワークにおける教師なし事前学習の代替手段として、高速かつハイパーパrameterチューニングが最小限の自己符号化器の代替を提供すること。

提案手法

• AHLは、ヘブシアン原理に基づくオンライン重み更新を採用する：『一緒に発火する神経細胞は、つながる』。共に活性化する前シナプスおよび後シナプスニューロン間の結合を強化する。
• 後シナプスニューロン間の競争により、疎性と非相関性が強制され、出力ニューロン間の相関が低減される。
• 前シナプス入力間のシナプス競争により、各出力ニューロンあたりの活性化入力数が制限され、さらに分散型コードが強化される。
• 活性に応じて動的にニューロンを参加・削除するための、ウィナーテイクアール（WTA）メカニズムと適応的閾値を用いる。
• AHLは、深層畳み込みニューラルネットワークにおいて、下位から上位への順方向に各層を独立して訓練する。
• 分類性能は、AHLで抽出した特徴量の上に線形SVMを適用して評価し、エンドツーエンドの誤差逆伝播を回避する。

実験結果

リサーチクエスチョン

• RQ1 競争的ヘブシアン学習は、現代の自己符号化器ベースの教師なし特徴抽出と同等またはそれを上回る疎且つ分散型の表現を生成できるか？
• RQ2 明示的なコスト関数最適化なしに、神経科学的に妥当な学習ルールが、下流の分類タスクに有効な特徴量を生成できるか？
• RQ3 シナプス競争の導入が、学習済み表現の非相関性およびエントロピーに与える影響は何か？
• RQ4 AHLは、最小限のハイパーパrameterチューニングで自己符号化器よりも高速に収束し、より優れた性能を達成できるか？

主な発見

• AHLは、MNIST、NORB、CIFAR-10の教師なし手法において最先端の性能を達成した。細かいプーリングを組み合わせた場合、MNISTでは0.82%、NORBでは2.52%の誤差率を記録した。
• CIFAR-10では、標準的なCNNアーキテクチャを用いて80%の精度を達成した。これは、大規模な特徴マップを必要とする先行研究と同等の性能である。
• AHLは自己符号化器よりも著しく収束が速く、CIFAR層2において15エポックで収束した。一方、スパース自己符号化器は74.8分を要した。
• K_w = 3のシナプス競争がK_w = 1よりも優れた性能を示し、より分散型の表現が性能向上に寄与することを確認した。
• 第3層のみを用いた場合、分類精度が急激に低下した。これは、高層層が識別的特徴学習のためにラベル情報の恩恵を受けることを示唆している。
• AHLが抽出した特徴量は、ノイズ除去自己符号化器を上回り、スパース自己符号化器と同等またはそれ以上の性能を示した。これは、ハイパーパrameterチューニングが最小限であるにもかかわらず達成された。