[論文レビュー] On the Infinite Width and Depth Limits of Predictive Coding Networks

Francesco Innocenti, El Mehdi Achour+1 more|arXiv (Cornell University)|Feb 7, 2026

Single-cell and spatial transcriptomics被引用数 0

ひとこと要約

要約: 本論文は、線形予測符号化ネットワーク（PCN）において、幅安定かつ特徴学習を行うパラメータ設定が BP（誤伝搬バックプロパゲーション）のものと一致することを証明する。広いモデル（N >> L）の極限で PC の勾配が BP の勾配に収束し、適切な深さスケーリングを用いる深層残差ネットワークにも適用可能である。線形および非線形ネットワークでの実験は、活動平衡が達成されたとき PC が BP に収束することを示し、これらの極限を支持する。

ABSTRACT

Predictive coding (PC) is a biologically plausible alternative to standard backpropagation (BP) that minimises an energy function with respect to network activities before updating weights. Recent work has improved the training stability of deep PC networks (PCNs) by leveraging some BP-inspired reparameterisations. However, the full scalability and theoretical basis of these approaches remains unclear. To address this, we study the infinite width and depth limits of PCNs. For linear residual networks, we show that the set of width- and depth-stable feature-learning parameterisations for PC is exactly the same as for BP. Moreover, under any of these parameterisations, the PC energy with equilibrated activities converges to the BP loss in a regime where the model width is much larger than the depth, resulting in PC computing the same gradients as BP. Experiments show that these results hold in practice for deep nonlinear networks, as long as an activity equilibrium seem to be reached. Overall, this work unifies various previous theoretical and empirical results and has potentially important implications for the scaling of PCNs.

研究の動機と目的

• ニューラル回路におけるクレジット割り当ての理解を、予測符号化とバックプロパゲーションを結びつけて促進する。
• PCNの安定した学習を生み出す、幅および深さを意識した principled なパラメータ設定を導出する。
• 線形および残差ネットワークにおける広い領域での PCN と BP の勾配の理論的同等性を確立する。
• 非線形ネットワークへの洞察を empirical validation で拡張する。
• PCN のスケーリングと学習規則の生物学的妥当性への示唆を議論する。

提案手法

• 線形多層パーセプトロン（MLP）に対する幅の変数化を、スケーリング指数 a, b, c, d および幅 N を用いて定義する。
• 平衡化された PC エネルギー F^*(人) を用いて、s(K) を介して PC 学習をリスケール済みの MSE 損失と関連付ける。
• 定理1を証明する：PC の幅安定かつ特徴学習のパラメータ設定は BP のそれと一致する。
• 系は補題3.2：N が限りなく大きいとき、F^*(人) が L(人) に近づき、PC 勾配は BP 勾配へ収束する。
• 線形残差ネットワークへパラメータ設定を拡張する；定理2を証明する：PC の深さ意識型パラメータ設定は BP と一致する（α = 1/2）。
• 線形および非線形ネットワークでの経験的検証を提供する；幅が深さよりも大きく、活動が平衡化されたときに BP に収束することを示す（図4）。
• PCN の安定性・スケーリング・生物学的妥当性に対する含意を議論し、制限と将来の課題を概説する。

Figure 1 : Under width- and depth-stable feature-learning parameterisations of linear residual networks, PC converges to BP when the model width is much larger than the depth, $N\gg L$ . We trained linear residual networks on CIFAR-10 with the mean-field parameterisation (as defined in Table 2 ) and

実験結果

リサーチクエスチョン

• RQ1 PCN に対して principled な幅-および深さ対応パラメータ設定を導出でき、それが安定した学習を生み出すか？
• RQ2 こうしたパラメータ設定下で、勾配は無限幅または無限深の極限で BP の勾配へ収束するか？
• RQ3 線形から非線形のPCNへ、実用的な平衡活動の下で結果は拡張されるか？
• RQ4 PCN のスケーリングや学習規則の生物学的妥当性に対する実務的示唆は何か？

主な発見

• 定理1：平衡化された活動を持つ線形 MLP において、PC の幅安定かつ特徴学習のパラメータ設定は BP のものと一致する。
• 命題3.2：これらのパラメータ設定の下、幅 N→∞（s(人) → 1）で PC 勾配は BP 勾配に収束する。
• 定理2：線形残差ネットワークにおいて、PC の幅および深さ安定の特徴学習パラメータ設定は BP と一致する（α = 1/2）。
• 補題4.2：N→∞ および L→∞ で、N ≫ L の regime において PC 勾配は BP 勾配へ収束する（N→∞、L が有限または比較的小さい場合）。
• 図4および付随結果は、非線形ネットワークが深さよりも幅が大きい場合に BP 的勾配へ到達し、活動が平衡化されることを示している。
• この研究は、無限幅/無限深の分析を、実用的な PCN の訓練と安定性へ結ぶ統一的な見解を提供する。

Figure 2 : Under width-stable and feature-learning parameterisations of linear MLPs, PC converges to BP at large width. We trained deep linear MLPs ( $L=5$ ) of varying widths $N$ with full-batch GD on a toy task with binary labels. All models used the mean-field parameterisation as defined in Table