[論文レビュー] Local Information with Feedback Perturbation Suffices for Dictionary Learning in Neural Circuits

Tsung-Han Lin|arXiv (Cornell University)|May 19, 2017

Advanced Memory and Neural Computing参考文献 17被引用数 3

ひとこと要約

本稿では、非局所的誤差信号を局所的フィードバック摂動に変換することで、シナプス的に局所的で生物学的に妥当な辞書学習を可能にするフィードバックシナプスを備えたスパikingニューラルネットワーク（SNN）を提案する。この手法は、スパikesレートダイナミクスとフィードバック誘発状態変化を用いることで、勾配降下法（SGD）と同等またはそれ以上の性能を達成し、ランダムな重み初期化のもとでも画像データセットで有効である。

ABSTRACT

While the sparse coding principle can successfully model information processing in sensory neural systems, it remains unclear how learning can be accomplished under neural architectural constraints. Feasible learning rules must rely solely on synaptically local information in order to be implemented on spatially distributed neurons. We describe a neural network with spiking neurons that can address the aforementioned fundamental challenge and solve the L1-minimizing dictionary learning problem, representing the first model able to do so. Our major innovation is to introduce feedback synapses to create a pathway to turn the seemingly non-local information into local ones. The resulting network encodes the error signal needed for learning as the change of network steady states caused by feedback, and operates akin to the classical stochastic gradient descent method.

研究の動機と目的

• シナプス的局所性制約のもとで、辞書学習が神経回路にどのように実装可能かという根本的課題に取り組むこと。
• 各シナプスで利用可能な情報のみに依存する学習ルールを構築し、空間的に分散したニューラルネットワークに実装可能であることを目指すこと。
• 局所的ダイナミクスとフィードバック摂動のみを用いて、ℓ₁最小化辞書学習問題をスパikingニューラルネットワークで解くこと。
• ネットワーク定常状態におけるフィードバック誘発変化が、グローバル誤差信号の局所的代理として機能できることを示すこと。
• 提案手法が、完全に分散型かつ並列処理可能である一方で、SGDと同等またはそれ以上の性能を発揮することを示すこと。

提案手法

• フィードバックシナプスを導入し、ネットワーク定常状態を摂動させ、その状態変化をグローバル誤差信号の局所的近似として用いる。
• ネットワークダイナミクスを特徴付けるために、不均衡関数 Δi(t) = ui(t) − θi ai(t) を用い、スパイクレートと電流平均に基づく学習ルールを導出する。
• フィードバック誘発状態シフトと勾配更新を関連付けることで、局所的学習ルールを導出し、確率的勾配降下法に類似させる。
• フィードバック摂動が真の誤差勾配を反映するように、前向とフィードバックの重み間に一貫性条件を課す。
• 積分・放電型ニューロンを用いたスパイクネットワークに学習ルールを適用し、局所的な前駆動および後駆動活性とフィードバック誘発変化に基づいて、シナプス重みを更新する。
• ニューロンの不活性化を防ぐために動的しきい値適応を採用し、学習効率と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スパイクニューラルネットワークにおいて、シナプスで利用可能な情報のみを用いて、辞書学習を達成できるか。
• RQ2 辞書学習における非局所的誤差信号を、どのように局所的でシナプス的にアクセス可能な信号に変換できるか。
• RQ3 スパイクネットワークにおけるフィードバック接続が、ℓ₁正則化目的関数の勾配を近似できるか。
• RQ4 提案手法は、目的関数値と収束速度の面で、標準的なSGDを上回るか、同等の性能を発揮するか。
• RQ5 本手法は、ランダムな重み初期化や異なるトレーニングサンプルサイズに対して、どれほど頑健か。

主な発見

• 提案されたSNNとフィードバック摂動は、MNIST、自然画像、Lenaを含む複数のデータセットで、SGDと同等またはそれ以上の目的関数値を達成する。
• 訓練データが限られた場合、SNN手法はSGDよりも速く収束し、より優れた解に到達する。特に、悪い局所的極小値を回避する。
• ランダムな重み初期化では収束がわずかに遅れるが、最終的な解の目的関数値は同等またはそれ以上である。
• 動的しきい値適応によりニューロンの不活性化が防止され、まれに活性化される原子が時間経過とともに発火しやすくなる。
• フィードバック誘発状態変化は、グローバル誤差勾配の有効な局所的代理として機能し、生物学的に妥当な学習を可能にする。
• 本手法により、完全に分散型で細粒度の並列処理が実現され、中央集権的プロセッサによるボトルネックが解消される。