[論文レビュー] Structured and Deep Similarity Matching via Structured and Deep Hebbian Networks

Dina Obeid, Hugo Ramambason+1 more|arXiv (Cornell University)|Oct 10, 2019

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本稿は、生物学的に妥当な局所的学習ルールを用いた深層ニューラルネットワークにおける教師なし学習のための構造的で深層的な類似度マッチングコスト関数を導入する。構造的で深層的なヒブリアン／アンチヒブリアンネットワークを提案し、前向・後退接続に対してヒブリアン、側方接続に対してアンチヒブリアンの局所的シナプス可塑性を用いて、二重のミニマックス目的関数を最適化することで、バックプロパゲーションを回避しつつ、効率的なクレジット割り当てと階層的特徴抽出を実現する。シミュレーションにより、MNISTおよびLFWデータセットで意味のある特徴の学習に成功している。

ABSTRACT

Synaptic plasticity is widely accepted to be the mechanism behind learning in the brain's neural networks. A central question is how synapses, with access to only local information about the network, can still organize collectively and perform circuit-wide learning in an efficient manner. In single-layered and all-to-all connected neural networks, local plasticity has been shown to implement gradient-based learning on a class of cost functions that contain a term that aligns the similarity of outputs to the similarity of inputs. Whether such cost functions exist for networks with other architectures is not known. In this paper, we introduce structured and deep similarity matching cost functions, and show how they can be optimized in a gradient-based manner by neural networks with local learning rules. These networks extend F\\"oldiak's Hebbian/Anti-Hebbian network to deep architectures and structured feedforward, lateral and feedback connections. Credit assignment problem is solved elegantly by a factorization of the dual learning objective to synapse specific local objectives. Simulations show that our networks learn meaningful features.

研究の動機と目的

• 生物学的に妥当な局所的学習ルールを用いて、深層ニューラルネットワークにおけるクレジット割り当て問題を解決すること。
• Földiakの単層ヒブリアン／アンチヒブリアンネットワークを、前向・後退・側方接続を有する深く構造的なアーキテクチャに拡張すること。
• 階層的特徴抽出と教師なし表現学習を支援する、ネットワーク全体の学習目的関数としての構造的で深層的な類似度マッチングを定式化すること。
• この目的関数の勾配ベース最適化が、局所的シナプス可塑性ルールによって実現可能であり、バックプロパゲーションを回避できることを示すこと。
• このネットワークが、MNISTやLFWなどの実世界データセットで意味のある階層的特徴を学習できることを実証すること。

提案手法

• 空間的構造と深さを含む、従来の類似度マッチングを一般化した新しいコスト関数である「構造的で深層的な類似度マッチング」を提案する。
• コスト関数に対して二重のミニマックス最適化問題を導出し、双対性理論を用いて各シナプスごとの局所的目的関数に分解する。
• 前向・後退接続にヒブリアン可塑性、側方接続にアンチヒブリアン可塑性を有する多層構造のニューラルネットワークを設計する。
• 各シナプスの更新ルールが、局所的な前駆動および後駆動活動にのみ依存するように、双対変換を用いることで生物学的に妥当な学習を実現する。
• 局所的学習ルールを採用：ヒブリアン用に ΔW_ij = η(r_i^* x_j - W_ij)、アンチヒブリアン用に ΔL_ij = (η/2)(r_i^* r_j^* - L_ij) を使用。局所的ダイナミクスは再帰的方程式で記述される。
• 空間的近接性などの構造的接続性を持つ局所接続ネットワークにこのフレームワークを適用し、深層アーキテクチャにおける階層的特徴抽出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 局所的学習ルールを用いた深く構造的なニューラルネットワークに、類似度マッチングコスト関数を一般化できるか？
• RQ2 バックプロパゲーションを用いずに、局所的シナプス可塑性のみで深層ネットワークにおけるクレジット割り当てを達成できるか？
• RQ3 構造的で深層的な類似度マッチングは、教師なし設定において階層的特徴抽出を支援できるか？
• RQ4 グローバルな二重目的関数を、局所変数にのみ依存する局所的シナプス目的関数に分解できるか？
• RQ5 これらのルールで学習されたネットワークは、実世界のデータで意味的で分離可能な特徴を学習できるか？

主な発見

• LFWデータセットの可視化により、1層目に多様で局所的な特徴が学習され、より深い層でそれらが統合されて大規模な特徴が形成されていることが示された。
• MNISTデータセットでは、1サイトあたり100ニューロンを用いた場合、テスト分類誤差が1.40%に達し、他の生物学的に妥当なネットワーク（例：[34] における1.46%）と同等の性能を示した。
• 構造的で深層的な類似度マッチングコスト関数はトレーニング過程で減少し、学習目的関数の有効な最適化が行われていることが示された。
• 双対性によりクレジット割り当て問題が洗練されて解決された：グローバルな二重目的関数が局所的シナプス目的関数に分解され、完全に局所的なルールによる勾配ベース学習が可能になった。
• 対称的なフィードバックおよび側方重みは、局所的可塑性によって漸近的に学習可能であり、重み伝達問題に対する生物学的に妥当な解決策を提供した。
• Földiakの単層ヒブリアン／アンチヒブリアンネットワークを、構造的接続性を持つ深層アーキテクチャに一般化し、階層的表現学習を可能にした。