[論文レビュー] The least-control principle for local learning at equilibrium

Alexander Meulemans, Nicolas Zucchet+3 more|arXiv (Cornell University)|Jul 4, 2022

Functional Brain Connectivity Studies被引用数 15

ひとこと要約

本稿では、再帰的および深層均衡ネットワークなどの平衡系における、生物学的に妥当で局所的かつ勾配ベースの学習ルールである最小制御原理（LCP）を導入する。学習を平衡状態に到達させるために必要な制御効率の最小化として定式化することにより、LCPは活動依存の信用割り当てを伴い、メモリフリーで効率的な学習を可能にし、順方向、再帰的、メタラーニングのタスクにおいて最先端の勾配法と同等の性能を達成する。

ABSTRACT

Equilibrium systems are a powerful way to express neural computations. As special cases, they include models of great current interest in both neuroscience and machine learning, such as deep neural networks, equilibrium recurrent neural networks, deep equilibrium models, or meta-learning. Here, we present a new principle for learning such systems with a temporally- and spatially-local rule. Our principle casts learning as a least-control problem, where we first introduce an optimal controller to lead the system towards a solution state, and then define learning as reducing the amount of control needed to reach such a state. We show that incorporating learning signals within a dynamics as an optimal control enables transmitting activity-dependent credit assignment information, avoids storing intermediate states in memory, and does not rely on infinitesimal learning signals. In practice, our principle leads to strong performance matching that of leading gradient-based learning methods when applied to an array of problems involving recurrent neural networks and meta-learning. Our results shed light on how the brain might learn and offer new ways of approaching a broad class of machine learning problems.

研究の動機と目的

• 再帰的および平衡ニューラルネットワークにおける生物学的に妥当で局所的な学習ルールを開発する課題に対処すること。
• バックプロパゲーションの制限、特に非局所性と中間状態の保存に依存する点を克服すること。
• 深層均衡モデルやメタラーニングを含む平衡系における学習を、一つの制御理論的枠組みで統一すること。
• 無限小の学習信号を必要とせず、活動依存で時間的・空間的に局所的な信用割り当てを実現すること。

提案手法

• 学習を、損失を最小化する平衡状態に到達させるために必要な制御入力を最小化する最小制御最適制御問題として再定式化する。
• システムを低制御の平衡状態へ誘導するための補助制御器を導入し、学習をこの必要制御を減らすことに定義する。
• 最小制御問題の最適性条件から、局所的で勾配ベースの学習ルールを導出し、すべての必要な情報が平衡状態で局所的に利用可能であることを保証する。
• 全結合型、畳み込み型、再帰的、深層均衡ネットワーク、およびメタラーニングの設定を含む、さまざまなアーキテクチャにこの原理を適用する。
• 実装のための離散化された動的定式化を用い、更新は制御目的関数の勾配から導出する。
• 極限状態において、既知の手法（例：平衡伝搬、対照的メタラーニング）と同等であることを示し、統一された理論的基盤を提供する。

実験結果

リサーチクエスチョン

• RQ1 中間状態を保存せず、局所的で生物学的に妥当な学習ルールを、平衡系に対して導出可能か？
• RQ2 非局所的バックプロパゲーションに依存せずに、ネットワークの活動に埋め込まれた信用割り当てを実現する方法は？
• RQ3 平衡系における最小制御目的関数と元の損失関数の関係は？
• RQ4 最小制御原理は、再帰的およびメタラーニング設定において、勾配ベース手法と同等の性能を達成できるか？
• RQ5 この原理は、深層均衡モデルや再帰的ネットワークを含む、さまざまなアーキテクチャにどのように一般化されるか？

主な発見

• 最小制御原理（LCP）は、中間状態の保存や無限小の信号に依存せずに、勾配追随的で局所的かつ活動依存の学習を、平衡系で可能にする。
• LCPは、順方向、再帰的、深層均衡ネットワークにおいて、最先端の勾配ベース手法と同等の性能を達成する。20クラス1ショットのOmniglot分類タスクでも同様の性能を示す。
• Omniglotベンチマークでは、FOMAML や Reptile と同等またはそれ以上の性能を示し、20クラス1ショットの精度は89.4%を達成する。
• 理論的分析により、最小制御問題の解が特定の条件下で元の損失関数の最小値またはその上限に対応することが示された。
• このフレームワークは、平衡伝搬や対照的メタラーニングといった既存の複数の手法を、共通の制御理論的解釈で統一する。
• 離散化された動的定式化により、1回のネットワーク通過で安定かつ効率的な学習が可能となり、時間遡及のバックプロパゲーションを回避する。