[論文レビュー] Using Weight Mirrors to Improve Feedback Alignment

Mohamed Akrout, Collin Wilson+3 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Memory and Neural Computing参考文献 15被引用数 9

ひとこと要約

本論文では、重み輸送を必要とせずにバックプロパゲーションに近い性能を達成するため、重みミラーと改変されたKolen-Pollackアルゴリズムを提案する。この手法により、フィードバックパスが迅速に正確なシナプス重みを学習できるようになり、ImageNet上でほぼバックプロパゲーションに近い性能を達成した。この方法は、標準的なフィードバックアライメントや符号対称性を上回り、標準的なバックプロパゲーションに近い精度にまで迫っている。

ABSTRACT

Current algorithms for deep learning probably cannot run in the brain because they rely on weight transport, where forward-path neurons transmit their synaptic weights to a feedback path, in a way that is likely impossible biologically. An algorithm called feedback alignment achieves deep learning without weight transport by using random feedback weights, but it performs poorly on hard visual-recognition tasks. Here we describe two mechanisms - a neural circuit called a weight mirror and a modification of an algorithm proposed by Kolen and Pollack in 1994 - both of which let the feedback path learn appropriate synaptic weights quickly and accurately even in large networks, without weight transport or complex wiring.Tested on the ImageNet visual-recognition task, these mechanisms outperform both feedback alignment and the newer sign-symmetry method, and nearly match backprop, the standard algorithm of deep learning, which uses weight transport.

研究の動機と目的

• バックプロパゲーションにおける重み輸送の生物学的非現実性を解消し、フィードバックパスを介して前向き重みを戻す必要をなくす。
• ハードな視覚的タスクにおいて現在制限を受けているフィードバックアライメントの性能を向上させるために、正確なフィードバック重み学習を可能にする。
• 複雑な配線を必要とせず、大規模なネットワークにおいてもフィードバック経路が迅速かつ正確に適切なシナプス重みを学習できるメカニズムを開発する。
• 生物学的妥当性を保ちつつ、ImageNet上で標準的なバックプロパゲーションに近い性能を達成する。

提案手法

• 前向き重みをフィードバックパスに送信する必要がないように、シナプス重みを学習できる神経回路「重みミラー」を導入する。
• Kolen-Pollack (1994) アルゴリズムを適応・改変し、局所的で生物学的に現実的な更新によってフィードバック重みを学習可能にする。
• 初期段階ではランダムなフィードバック重みを使用するが、前向き重みのダイナミクスに基づいてフィードバック重みを追跡・調整する重みミラー機構により、それを是正する。
• グローバルな重み輸送を避けるために、局所的な学習ルールを用いて、局所的な誤差信号と前向き重み情報に基づいてフィードバック重みを更新する。
• 前向き重みとフィードバック重みの更新を同期させる閉ループメカニズムにより、深層ネットワークにおけるフィードバック重みの迅速かつ正確な収束を実現する。
• フィードバックパスで前向き重みの知識を必要としないため、生物学的に現実的である。

実験結果

リサーチクエスチョン

• RQ1 重み輸送に依存せずにフィードバックアライメントを著しく改善でき、生物学的に現実的になるか。
• RQ2 重みミラーのような局所的で回路レベルのメカニズムが、深層ネットワークにおける正確なフィードバック重み学習を可能にするか。
• RQ3 本手法は、大規模な視覚認識タスクにおいて、フィードバックアライメントや符号対称性と比べてどの程度の性能を示すか。
• RQ4 本手法は、生物学的に非現実的なメカニズムを避けつつ、標準的なバックプロパゲーションの性能にどの程度まで迫れるか。
• RQ5 改変されたKolen-Pollackアルゴリズムは、視覚認識のための大規模で深層ネットワークに効果的にスケーリング可能か。

主な発見

• 提案手法は、ImageNetの視覚認識タスクにおいて、標準的なフィードバックアライメントや符号対称性を上回った。
• この手法は、深層学習における現在の基準となる標準的なバックプロパゲーションの性能にほぼ達した。
• 重みミラーにより、重み輸送や複雑な配線を必要とせず、フィードバック重みの迅速かつ正確な学習が可能になった。
• アルゴリズムは大規模なネットワークでも高い性能を維持し、スケーラビリティとロバストネスを示した。
• 改変されたKolen-Pollack機構により、局所的情報のみを用いてフィードバック重みが迅速かつ正確に収束した。
• 本システムは、ImageNetにおける重み輸送を伴わない深層学習アルゴリズムの中で、最先端の性能を達成した。