[論文レビュー] Towards truly local gradients with CLAPP: Contrastive, Local And Predictive Plasticity.

Bernd Illing, Wulfram Gerstner+1 more|arXiv (Cornell University)|Oct 16, 2020

Neural Networks and Applications参考文献 16被引用数 4

ひとこと要約

CLAPP は、誤差逆伝播を必要とせず、深層階層的表現学習を人工ニューラルネットワークで局所的に実装可能な非教師あり学習アルゴリズムである。局所的な前シナプスおよび後シナプスニューロン状態と、グローバルなレイヤー全体の要因に基づくレイヤー固有の損失関数を用い、脳に類似した学習を模倣すると同時に、画像および音声の表現タスクにおいて誤差逆伝播と同等の性能を達成する。

ABSTRACT

Back-propagation (BP) is costly to implement in hardware and implausible as a learning rule implemented in the brain. However, BP is surprisingly successful in explaining neuronal activity patterns found along the cortical processing stream. We propose a locally implementable, unsupervised learning algorithm, CLAPP, which minimizes a simple, layer-specific loss function, and thus does not need to back-propagate error signals. The weight updates only depend on state variables of the pre- and post-synaptic neurons and a layer-wide third factor. Networks trained with CLAPP build deep hierarchical representations of images and speech.

研究の動機と目的

• ニューラルネットワークにおける誤差逆伝播の計算的・生物学的に不実現な点を回避する、生物学的に妥当な学習ルールの開発。
• 局所的でレイヤー固有の情報のみを用いて、人工ネットワークにおける深層階層的表現学習を可能にすること。
• 誤差逆伝播を、前シナプスおよび後シナプスニューロン状態とレイヤー全体の要因にのみ依存する局所的で予測的かつ対照的な可塑性メカニズムに置き換えること。
• このような局所的学習ルールが、視覚および音声の非教師あり表現学習において、誤差逆伝播と同等の性能を達成できることを示すこと。

提案手法

• CLAPP は、誤差信号の逆伝播が不要な、局所的な前シナプスおよび後シナプスニューロン状態とグローバルなレイヤー全体の要因にのみ依存するレイヤー固有の損失関数を最小化する。
• アルゴリズムは、局所的活動パターンと共有されたレイヤー全体の信号に基づいて、対照的で局所的かつ予測可能な可塑性ルールを用いてシナプス重みを更新する。
• 重みの更新は、ネットワーク全体の勾配計算を必要とせず、層間で一貫した表現を促進する単純で微分可能な損失関数から導出される。
• この方法は完全に局所的実装である：各シナプスは、その直近の前シナプスおよび後シナプス活動と、共通のレイヤー全体の信号のみに依存して更新される。
• CLAPP は、画像および音声データの非教師あり事前学習に深層ネットワークに適用し、監視なしに階層的特徴を学習する。

実験結果

リサーチクエスチョン

• RQ1 誤差逆伝播を回避する学習ルールでも、深層ネットワークで意味のある階層的表現を学習できるか？
• RQ2 局所的ニューロン状態とグローバルなレイヤー全体の要因のみを用いて、競争的な表現学習性能を達成できるか？
• RQ3 視覚および音声タスクにおける表現品質の観点から、局所的に実装された非教師あり学習ルールは、誤差逆伝播と比べてどのように異なるか？
• RQ4 このようなルールは、皮質処理スティームで観察されるニューロン活動パターンと整合性を持つものか？

主な発見

• CLAPP は、誤差信号の逆伝播を必要とせず、人工ニューラルネットワークにおいて深層階層的表現を学習することに成功した。
• 画像および音声データの非教師あり事前学習において、下流の表現品質を測定したところ、CLAPP は誤差逆伝播と同等の性能を達成した。
• CLAPP で学習されたネットワークは、皮質処理スティームに観察されるニューロン活動パターンと整合性を示し、生物学的妥当性を示唆している。
• 学習ルールは完全に局所的である：重みの更新は、前シナプスおよび後シナプスニューロン状態とレイヤー全体の要因にのみ依存するため、ハードウェア実装に適している。