[論文レビュー] Deep Learning without Weight Transport

Mohamed Akrout, Collin Wilson+3 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Memory and Neural Computing参考文献 33被引用数 60

ひとこと要約

この論文は、重み輸送を必要とせず深層ネットワークが学習できる2つのメカニズム（weight mirrorとKolen-Pollackにインスパイアされた相互学習）を提示し、ImageNetでほぼバックプロパゲーションと同等の性能を達成し、これまでの輸送を必要としない方法より優れていることを示す。

ABSTRACT

Current algorithms for deep learning probably cannot run in the brain because they rely on weight transport, where forward-path neurons transmit their synaptic weights to a feedback path, in a way that is likely impossible biologically. An algorithm called feedback alignment achieves deep learning without weight transport by using random feedback weights, but it performs poorly on hard visual-recognition tasks. Here we describe two mechanisms - a neural circuit called a weight mirror and a modification of an algorithm proposed by Kolen and Pollack in 1994 - both of which let the feedback path learn appropriate synaptic weights quickly and accurately even in large networks, without weight transport or complex wiring.Tested on the ImageNet visual-recognition task, these mechanisms outperform both feedback alignment and the newer sign-symmetry method, and nearly match backprop, the standard algorithm of deep learning, which uses weight transport.

研究の動機と目的

• brain-like learningにおける重み輸送問題を動機づけ、対処する。
• 輸送フリーの2つのメカニズムを提案してフィードバック重みを学習する。
• バックプロパゲーションおよび過去の輸送フリー手法と比較してImageNetで競争力のある性能を示す。

提案手法

• weight mirrorとKolen-Pollackに着想を得た相互ネットワークを導入し、重み輸送なしでフィードバック重みを学習する。
• explicitな重み共有なしに、フィードバック重みが前方の転置へ収束する学習則を導出する。
• mirror modeにおいてHebbian様の更新を通じてweight mirrorsがW^Tを近似することを示す。
• 層ごとおよびエンドツーエンドの学習を、重みを輸送することなく適用できるよう学習則を適応させる。
• Batch NormalizationとReLUを備えたResNet-18/50 CNNのアーキテクチャと学習の詳細を提供する。

実験結果

リサーチクエスチョン

• RQ1 重み輸送を伴わないフィードバック経路が適切なシナプス重みを学習して高性能な学習を達成できるか。
• RQ2 weight mirrorsとKolen-Pollack風のネットワークはImageNetへスケールし、バックプロパゲーションおよび他の輸送フリー手法と競争できるか。

主な発見

• weight-mirrorとKolen-Pollackネットワークは、ImageNetで普通のフィードバック整合性および符号対称性を超える性能を示す。
• ResNet-18ではWMがトップ1エラー30.2%、KPがトップ1エラー29.2%を記録（FA 97.4%、SS 39.2%、BP 30.1%に対して）。
• ResNet-50ではWMがトップ1エラー23.4%、KPが23.9%を記録（FA 98.9%、SS 33.8%、BP 22.9%に対して）。
• いずれの方法もバックプロパゲーションの性能に近く、重み輸送なしで競争力のある結果を提供する。
• weight mirrorsは全体でBとW^Tの間の角度を小さく保つ（全体で12°未満、δ-角度は25°未満）。
• Kolen-Pollackは約20エポック程度でほぼゼロの行列誤差とδ角度誤差を達成し、前方転置と強い整合性を示す。）