[논문 리뷰] On the Infinite Width and Depth Limits of Predictive Coding Networks

Francesco Innocenti, El Mehdi Achour외 1명|arXiv (Cornell University)|2026. 02. 07.

Single-cell and spatial transcriptomics인용 수 0

한 줄 요약

논문은 선형 예측 코딩 네트워크(PCN)에 대해 너비-안정성 및 특징 학습 매개변수가 BP의 매개변수화와 일치함을 증명하며, 넓은 모델(N >> L) 한계에서 PC 기울기가 BP 기울기로 수렴하고, 적절한 깊이 스케일링을 갖는 깊은 잔차 네트워크에도 적용된다. 실험은 선형 및 비선형 네트워크에서 이러한 한계를 지지하고, 활동 균형에 도달하면 PC가 BP로 수렴함을 보인다.

ABSTRACT

Predictive coding (PC) is a biologically plausible alternative to standard backpropagation (BP) that minimises an energy function with respect to network activities before updating weights. Recent work has improved the training stability of deep PC networks (PCNs) by leveraging some BP-inspired reparameterisations. However, the full scalability and theoretical basis of these approaches remains unclear. To address this, we study the infinite width and depth limits of PCNs. For linear residual networks, we show that the set of width- and depth-stable feature-learning parameterisations for PC is exactly the same as for BP. Moreover, under any of these parameterisations, the PC energy with equilibrated activities converges to the BP loss in a regime where the model width is much larger than the depth, resulting in PC computing the same gradients as BP. Experiments show that these results hold in practice for deep nonlinear networks, as long as an activity equilibrium seem to be reached. Overall, this work unifies various previous theoretical and empirical results and has potentially important implications for the scaling of PCNs.

연구 동기 및 목표

• 신경 회로에서 크레딧 할당의 이해를 촉진하기 위해 예측 코딩과 역전파를 연결한다.
• PCN에 대해 안정적인 학습을 유도하는 원리적 폭- 및 깊이 인식 매개변수화를 도출한다.
• 선형 및 잔차 네트워크에서 PCN과 BP 기울기의 이론적 등가성(넓은 영역)을 확립한다.
• 비선형 네트워크에 대한 통찰을 확장하고 실험적으로 검증한다.
• PCN의 확장성과 학습 규칙의 생물학적 타당성에 대한 시사점과 한계 및 향후 연구를 논의한다.

제안 방법

• 선형 MLP에 대한 일반적인 폭-매개변수화를 너비 N 및 스케일링 지수 a_\u0003b, b_\u0003b, c, d로 정의한다.
• 평형화된 PC 에너지 F^*(\u0007)를 사용하여 PC 학습을 s(\u0007)에 의한 재스케일된 MSE 손실과 연결한다.
• 정리 1: PC의 너비-안정적 및 특징 학습 매개변수화가 BP의 매개변수화와 일치함을 보인다.
• Corollary 3.2: as N \u001fty, F^*(\u0007) \u001f L(\u0007) and PC gradients converge to BP gradients.
• 선형 잔차 네트워크에 매개변수를 확장하고; 정리 2: PC의 깊이 인식 매개변수화가 BP와 일치함(α = 1/2).
• 선형 및 비선형 네트워크에 대한 실증 검증을 제공하고, 넓은 모델과 균형화된 활성에서 BP로 수렴하는 것을 보여준다(그림 4).
• PCN의 안정성, 확장성 및 생물학적 타당성에 대한 시사점을 논의하고, 한계 및 향후 연구를 개략한다.

Figure 1 : Under width- and depth-stable feature-learning parameterisations of linear residual networks, PC converges to BP when the model width is much larger than the depth, $N\gg L$ . We trained linear residual networks on CIFAR-10 with the mean-field parameterisation (as defined in Table 2 ) and

실험 결과

연구 질문

• RQ1 PCN에 대해 원리적 폭- 및 깊이 인식 매개변수화를 도출하여 안정적인 학습을 얻을 수 있는가?
• RQ2 이러한 매개변수화 하에서 무한한 폭이나 깊이 한계에서 PC 기울기가 BP 기울기로 수렴하는가?
• RQ3 선형에서 비선형 PCN으로 이 결과가 실용적 균형 활성에서 확장되는가?
• RQ4 PCN의 확장성과 학습 규칙의 생물학적 타당성에 대한 실용적 시사점은 무엇인가?

주요 결과

• 정리 1: 균형 활성화를 가진 선형 MLP에서 PC의 너비-안정적 및 특징 학습 매개변수화가 BP의 매개변수화와 일치한다.
• Corollary 3.2: 이러한 매개변수화 하에서 PC 기울기가 넓이 N이 ∞로 갈 때 BP 기울기로 수렴한다.
• 정리 2: 선형 잔차 네트워크의 PC 너비- 및 깊이-안정적 특징 학습 매개변수가 BP에 일치한다(α = 1/2).
• Corollary 4.2: N이 ∞이고 L이 ∞인 구간에서 N이 L보다 크거나 같고 L은 유한하거나 비교적 작을 때 PC 기울기가 BP 기울기로 수렴한다.
• 그림 4 및 관련 결과는 넓이가 깊이보다 훨씬 클 때 비선형 네트워크가 BP 유사 기울기를 얻고 활성들이 평형에 도달함을 보여준다.
• 본 연구는 무한 폭/깊이 분석과 실용적 PCN 학습 및 안정성 간의 통합적 시야를 제공한다.

Figure 2 : Under width-stable and feature-learning parameterisations of linear MLPs, PC converges to BP at large width. We trained deep linear MLPs ( $L=5$ ) of varying widths $N$ with full-batch GD on a toy task with binary labels. All models used the mean-field parameterisation as defined in Table