[論文レビュー] Backpropagation at the Infinitesimal Inference Limit of Energy-Based Models: Unifying Predictive Coding, Equilibrium Propagation, and Contrastive Hebbian Learning

Beren Millidge, Yuhang Song+3 more|arXiv (Cornell University)|May 31, 2022

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

この論文は、エネルギーに基づくモデル（EBM）における一般原理の特別なケースとして、予測符号化、均衡伝搬、対照的ヘブ学習を統一する。無限小の推論限界において、自由状態とクランプ状態の均衡状態の差が、バックプロパゲーション勾配を近似する。主な貢献は、この勾配近似がEBMに共通する普遍的な数学的性質に起因することを示す理論的枠組みを提供し、生物学的に妥当な学習アルゴリズムの新規導出を可能にする。

ABSTRACT

How the brain performs credit assignment is a fundamental unsolved problem in neuroscience. Many `biologically plausible' algorithms have been proposed, which compute gradients that approximate those computed by backpropagation (BP), and which operate in ways that more closely satisfy the constraints imposed by neural circuitry. Many such algorithms utilize the framework of energy-based models (EBMs), in which all free variables in the model are optimized to minimize a global energy function. However, in the literature, these algorithms exist in isolation and no unified theory exists linking them together. Here, we provide a comprehensive theory of the conditions under which EBMs can approximate BP, which lets us unify many of the BP approximation results in the literature (namely, predictive coding, equilibrium propagation, and contrastive Hebbian learning) and demonstrate that their approximation to BP arises from a simple and general mathematical property of EBMs at free-phase equilibrium. This property can then be exploited in different ways with different energy functions, and these specific choices yield a family of BP-approximating algorithms, which both includes the known results in the literature and can be used to derive new ones.

研究の動機と目的

• 予測符号化、均衡伝搬、対照的ヘブ学習といった、異なる生物学的に妥当な学習アルゴリズムを、一つの理論的枠組みで統一すること。
• これらのアルゴリズムがバックプロパゲーションを近似できる、エネルギーに基づくモデルに共通する根本的な数学的性質を同定すること。
• バックプロパゲーションへの近似が、無限小の推論限界における均衡状態での神経動態の方向性に起因することを示すこと。
• 既存の文献を超えて、新たなBP近似学習ルールを導出可能な、この枠組みの一般化を行うこと。

提案手法

• 教師付き損失と内部ネットワークダイナミクスの両方を含む、分解されたエネルギー関数を用いてエネルギーに基づくモデル（EBM）を形式化する。
• 自由状態（制約なし）とクランプ状態（ターゲット制約あり）の両条件下でのEBMの均衡状態を分析する。
• クランプ状態の均衡点の周囲でテイラー展開を適用し、自由状態とクランプ状態の均衡点の距離がバックプロパゲーション勾配を近似する無限小の推論限界を導出する。
• 3つの既知のアルゴリズムを特別なケースとして導出する：(1) 弱いフィードバックによるPC-Nudge、(2) 損失スケーリングによるEP、(3) 對照的損失によるCHL。
• 勾配近似誤差が自由状態とクランプ状態の均衡点間の距離に線形に比例することを示す。
• 異なるエネルギー関数を選択することで、新しいBP近似学習ルールを構築可能な一般化されたアルゴリズム枠組みを提案する。

実験結果

リサーチクエスチョン

• RQ1 予測符号化、均衡伝搬、対照的ヘブ学習が、エネルギーに基づくモデルにおいてバックプロパゲーションを近似できる、共通する数学的原理は何か？
• RQ2 クランプ状態の均衡点が自由状態の均衡点に近づく無限小の推論限界では、EBMにおける勾配近似がどのように実現されるか？
• RQ3 均衡状態における神経動態と教師付き損失勾配の関係は、既存のアルゴリズムを超えて一般化可能か？
• RQ4 自由状態とクランプ状態の均衡点の差が、真のBP勾配を近似するための条件は何か？
• RQ5 EBM枠組みから、新しい生物学的に妥当な学習アルゴリズムを体系的に導出する方法は何か？

主な発見

• エネルギーに基づくモデルの自由状態における均衡点での神経動態の方向が、正確に教師付き損失関数の勾配と一致し、内在的な勾配信号を提供する。
• 無限小の推論限界において、自由状態からクランプ状態への均衡点のベクトルが、BP勾配を近似する。近似誤差は、両均衡点間の距離に線形に比例する。
• 弱いフィードバックを用いた予測符号化、均衡伝搬、対照的ヘブ学習は、すべてこの一般枠組みの特別なケースであり、エネルギー関数の構造の違いに起因する。
• 本枠組みから導出されたPC-Nudgeアルゴリズムは、初期化時のEBMの内在的ダイナミクスのみを用いて、正確なバックプロパゲーションを達成する。
• 本枠組みにより、勾配近似性質を保つ新たなエネルギー関数を選択することで、新しい学習アルゴリズムを導出可能である。
• 理論的分析は、クランプ状態の均衡点の周囲におけるテイラー展開に依存しており、今後の研究では、より高度な近似技術を用いて誤差境界を改善できる可能性がある。