[論文レビュー] Learning to Learn with Feedback and Local Plasticity

Jack Lindsey, Ashok Litwin-Kumar|arXiv (Cornell University)|Jun 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 7

ひとこと要約

本論文は、バックプロパゲーションの重み輸送や非局所性という生物学的に不自然な点を避けるために、フィードバック接続と局所的可塑性ルールを用いて深層ネットワークを学習させるメタラーニングフレームワークを提案する。この手法は、オンライン学習および継続的学習タスクにおいて、勾配ベースのメタラーニングと同等またはそれ以上の性能を達成し、フィードバックに基づく学習が干渉を低減し、効率的なクレジット割り当てを可能にする点でバックプロパゲーションを上回ることを示している。

ABSTRACT

Interest in biologically inspired alternatives to backpropagation is driven by the desire to both advance connections between deep learning and neuroscience and address backpropagation's shortcomings on tasks such as online, continual learning. However, local synaptic learning rules like those employed by the brain have so far failed to match the performance of backpropagation in deep networks. In this study, we employ meta-learning to discover networks that learn using feedback connections and local, biologically inspired learning rules. Importantly, the feedback connections are not tied to the feedforward weights, avoiding biologically implausible weight transport. Our experiments show that meta-trained networks effectively use feedback connections to perform online credit assignment in multi-layer architectures. Surprisingly, this approach matches or exceeds a state-of-the-art gradient-based online meta-learning algorithm on regression and classification tasks, excelling in particular at continual learning. Analysis of the weight updates employed by these models reveals that they differ qualitatively from gradient descent in a way that reduces interference between updates. Our results suggest the existence of a class of biologically plausible learning mechanisms that not only match gradient descent-based learning, but also overcome its limitations.

研究の動機と目的

• バックプロパゲーションの重み輸送とシナプス学習における非局所性という生物学的非妥当性を解消すること。
• 勾配降下法に依存せずに、効果的なオンライン学習および継続的学習を可能にする生物学的インスピレーションに基づいた学習メカニズムを開発すること。
• フィードバック接続と局所的可塑性ルールの組み合わせが、バックプロパゲーションと同等のクレジット割り当てを達成できるかどうかを調査すること。
• メタラーニングが、干渉低減および一般化性能の観点で勾配降下法を上回る学習ルールを発見できるかどうかを検討すること。

提案手法

• 局所的学習ルールをガイドするため、フィードバック重み、順方向重みの初期化、可塑性率をメタラーニングする。
• 順方向重みに束縛されないフィードバック接続を用いることで、重み輸送問題を回避する。
• フィードバックで調整された活性度に基づいて、順方向ネットワークにおける局所的ヘブ的可塑性ルールを適用して重みを更新する。
• オンラインタスクにおける高速かつ安定した学習を最適化するために、全訓練プロセスを通じてバックプロパゲーションを用いてメタラーナーを訓練する。
• 二重ループ最適化を採用：外側のループでメタ最適化を行い、内側のループでフィードバック駆動のオンライン学習を実行する。
• 出力層から隠れ層へと目標情報を伝えるフィードバック経路を用い、グローバル勾配情報が不要な状態で局所的更新を調整する。

実験結果

リサーチクエスチョン

• RQ1 非対称な重みを持つフィードバック接続は、バックプロパゲーションを用いずに、深層ネットワークにおける効果的なクレジット割り当てを可能にするか？
• RQ2 メタラーニングされたフィードバックパスは、勾配降下法とは質的に異なる学習ダイナミクスを生じさせるか？
• RQ3 メタラーニングされたフィードバックと局所的可塑性ルールの組み合わせは、継続的学習において勾配ベースのメタラーニングを上回る性能を発揮できるか？
• RQ4 フィードバックで調整された学習プロセスは、標準的なバックプロパゲーションと比較して、更新間の干渉をどのように低減するか？
• RQ5 生物学的に妥当な学習メカニズムは、オンライン学習および少数のサンプルでの学習において、勾配ベースの手法と同等またはそれ以上の性能を達成できるか？

主な発見

• メタラーニングされたフィードバックネットワークは、局所的可塑性と非対称なフィードバック重みのみを用いて、多層構造においてオンラインクレジット割り当てを成功裏に実行した。
• フィードバックベースの学習メカニズムは、回帰および分類タスクにおいて、最先端の勾配ベースのオンラインメタラーニングアルゴリズムと同等またはそれ以上の性能を示した。
• 継続的学習において優れた安定性を示し、勾配降下法と比較して更新間の干渉が著しく低減された。
• フィードバック・可塑性ネットワークにおける重み更新は、勾配降下法とは質的に異なるため、特徴的な学習のインダクティブバイアスを示している。
• 重みの対称性やグローバル勾配情報といった生物学的に不自然な要件を回避することで、生物学的妥当性が向上した。
• 生涯を通じてフィードバック重みを固定した状態でも、この手法は高い性能を維持したため、フィードバックが可塑的である必要がないことが示された。