[論文レビュー] Biologically Inspired Feedforward Supervised Learning for Deep Self-Organizing Map Networks

Takashi Shinozaki|arXiv (Cornell University)|Oct 26, 2017

Neural Networks and Applications参考文献 10被引用数 4

ひとこと要約

この論文は、バックプロパゲーションを用いずにエンドツーエンドの学習を可能にする、生物学的にインspiredなフィードフォワード教師あり学習手法を、深層自己組織化マップ（SOM）ネットワークに提案する。正しくラベル付けされた出力と関連づけられたフィードフォワード教師信号を用いることで、頑健で連続的な表現学習が達成され、MNISTのテスト誤差は教師なし事前学習後の66.5％から20回の学習反復後に3.8％に低下する。

ABSTRACT

In this study, we propose a novel deep neural network and its supervised learning method that uses a feedforward supervisory signal. The method is inspired by the human visual system and performs human-like association-based learning without any backward error propagation. The feedforward supervisory signal that produces the correct result is preceded by the target signal and associates its confirmed label with the classification result of the target signal. It effectively uses a large amount of information from the feedforward signal, and forms a continuous and rich learning representation. The method is validated using visual recognition tasks on the MNIST handwritten dataset.

研究の動機と目的

• バックプロパゲーションを回避する生物学的に妥当な教師あり学習手法を、深層ニューラルネットワークに開発すること。
• フィードフォワード教師信号のみを用いて、効果的で分散的かつ段階的な学習を深層アーキテクチャで可能にすること。
• 信号のタイミングと構造を活用して強化学習と競合学習を統合的フレームワークにすること。
• 初期層からの豊かな連続的特徴表現を活用して、深層ネットワークの分類性能を向上させること。
• 最小限のメモリオーバーヘッドでMNISTデータセットを用いて視覚認識タスクに本手法を検証すること。

提案手法

• ネットワークは、100個のニューロンと非畳み込み型受容野を備えた自己組織化マップ（SOM）モジュールをスタックし、階層的特徴抽出構造を形成する。
• 事前学習は、L2正規化された重みを用いた従来の競合学習により実施され、減少する学習率とガウス型近傍関数の減衰を用いて、トポロジカルに組織化された特徴マップを形成する。
• 本手法では、新しいフィードフォワード教師信号を導入する：ターゲット入力の前に現れる「アドバンス入力」で、正しいラベルと関連づけられる。これにより、誤差のバックプロパゲーションを必要としない関連学習が可能になる。
• 修正されたヘブ的ルール（AP学習）を用いる。正しい／誤った信号が前方にブロードキャストされ、各局所モジュールは局所的活動とグローバル教師信号に基づいて重みを更新する。
• 学習ルールでは、減衰係数（r）を用いて、教師信号の影響を層間で制御し、学習強度の動的調整を可能にする。
• 最終層では、距離に応じて減衰する出力を持つウィナートークスアラウンド（WSA）を用いる。勝者となったニューロンとその近傍が、勝者位置からのガウスカーネルの減衰に基づいて活性化される。

実験結果

リサーチクエスチョン

• RQ1 フィードフォワード教師信号は、バックプロパゲーションを不要とする深層自己組織化ネットワークにおける効果的な学習を可能にするか？
• RQ2 教師信号のタイミングと構造は、学習効率と表現品質にどのように影響するか？
• RQ3 提案手法は、誤差のバックプロパゲーションを一切用いずに、視覚認識タスクで競争力のある性能を達成できるか？
• RQ4 本手法は、一元的で統合的なフレームワーク内で強化学習と競合学習をどの程度統合できるか？
• RQ5 本手法は、大規模またはオンライン応用に適したインクリメンタルかつ分散型学習をサポートするか？

主な発見

• 本手法は、教師なし事前学習後のMNISTテスト誤差率を66.5％から、減衰係数0.7で20回のAP学習反復後に3.8％に低下させた。
• 減衰係数rをゼロ（上層での学習なし）に設定した場合、誤差率は依然として22.5％に高く維持され、全層にわたる分散型学習の必要性が確認された。
• 学習プロセスは最終層の表現を再組織化し、よりスパarselyで効率的なものにした。学習後には、各数字クラスに対して平均で10個の代表的ニューロンが活性化された。
• 代表的ニューロンの最適なスティムラは、AP学習後により一般化され、判別性の高い画像パターンに更新された。特に数字「6」において顕著であった。
• 本手法は、層ごとの事前学習やバックプロパゲーションを一切不要とし、一度のパスで全ネットワークに効果的なファインチューニングを実現した。
• 本手法は、局所的更新と前方のみの信号伝播に依存するため、非常にメモリ効率が良く、分散並列計算に適している。