[论文解读] A Theoretical Framework for Inference and Learning in Predictive Coding Networks

Beren Millidge, Yuhang Song+3 more|arXiv (Cornell University)|Jul 21, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文为通过前瞻性配置训练的预测编码网络（PCNs）建立了理论基础，表明其推理阶段收敛至与目标传播（TP）解析关联的解，其学习阶段则实现了一种受限的广义期望最大化（EM）算法，收敛至反向传播损失函数的临界点——为PCNs在在线学习、少样本学习和持续学习中表现出色提供了理论依据，尽管其在标准设置下并不近似反向传播。

ABSTRACT

Predictive coding (PC) is an influential theory in computational neuroscience, which argues that the cortex forms unsupervised world models by implementing a hierarchical process of prediction error minimization. PC networks (PCNs) are trained in two phases. First, neural activities are updated to optimize the network's response to external stimuli. Second, synaptic weights are updated to consolidate this change in activity -- an algorithm called \emph{prospective configuration}. While previous work has shown how in various limits, PCNs can be found to approximate backpropagation (BP), recent work has demonstrated that PCNs operating in this standard regime, which does not approximate BP, nevertheless obtain competitive training and generalization performance to BP-trained networks while outperforming them on tasks such as online, few-shot, and continual learning, where brains are known to excel. Despite this promising empirical performance, little is understood theoretically about the properties and dynamics of PCNs in this regime. In this paper, we provide a comprehensive theoretical analysis of the properties of PCNs trained with prospective configuration. We first derive analytical results concerning the inference equilibrium for PCNs and a previously unknown close connection relationship to target propagation (TP). Secondly, we provide a theoretical analysis of learning in PCNs as a variant of generalized expectation-maximization and use that to prove the convergence of PCNs to critical points of the BP loss function, thus showing that deep PCNs can, in theory, achieve the same generalization performance as BP, while maintaining their unique advantages.

研究动机与目标

• 为了从理论上理解通过前瞻性配置训练的预测编码网络（PCNs）的推理与学习动态，其在标准设置下不近似反向传播。
• 建立PCN推理与目标传播（TP）之间的正式联系，表明推理平衡点是前向激活与TP目标的加权平均。
• 将PCN学习解释为一种受限广义期望最大化（EM）算法的变体，为其训练动态提供原则性的理论基础。
• 证明PCNs收敛至标准反向传播损失函数的临界点，从而解释其尽管训练动态非BP，却具备强大泛化性能的原因。
• 将PCN中的残差误差项解释为神经活动偏离低层预测的高斯先验，从而通过替代先验实现原则性泛化。

提出的方法

• 推导线性PCNs中推理平衡点的解析表达式，表明其源于前向激活与目标传播目标之间的平衡，受反馈与前向精度比值控制。
• 通过不动点迭代将分析扩展至非线性PCNs，证明即使在无闭式解的情况下，该平衡点的直观结构依然成立。
• 将学习阶段重新表述为受限广义期望最大化（EM）算法，其中E步受预测编码推理过程的限制。
• 利用EM解释与推理目标结构，证明PCN学习算法收敛至标准反向传播损失函数的临界点。
• 将预测编码目标中的残差误差项解释为神经活动偏离的贝叶斯先验，具体为以低层预测为中心的高斯先验。
• 通过将当前高斯先验替换为数据特定先验（如对数正态分布）来建议PCNs的泛化，以提升结构化数据分布下的归纳偏置与效率。

实验结果

研究问题

• RQ1 在线性架构中，预测编码网络的推理平衡点与目标传播（TP）有何关系？
• RQ2 PCNs通过前瞻性配置训练的学习动态的理论基础是什么？其与反向传播相比有何异同？
• RQ3 PCN学习过程能否被正式解释为广义期望最大化（EM）的一种变体？若是，其收敛特性如何？
• RQ4 预测编码目标中的残差误差项起什么作用？其在贝叶斯框架下如何解释？
• RQ5 该理论框架能否扩展至支持除当前高斯假设外的其他先验分布，以提升特定数据类型的归纳偏置？

主要发现

• 在线性PCNs中，推理平衡点在数学上等价于前向激活与目标传播目标的加权平均，权重由反馈与前向精度的比值决定。
• 在非线性PCNs中，即使不存在闭式解，推理平衡点仍保持与线性情况相同的直观结构，经不动点迭代模拟验证。
• 通过前瞻性配置训练的PCNs学习阶段可被正式解释为一种受限广义期望最大化（EM）算法，确保收敛至反向传播损失函数的临界点。
• 预测编码目标中的残差误差项对应于神经活动偏离低层预测的高斯先验，提供了原则性的贝叶斯解释。
• 该理论框架支持通过将当前高斯先验替换为数据特定先验（如对数正态或幂律分布）来泛化PCNs，可能提升结构化数据下归纳偏置与推理效率。
• 在MNIST与Fashion-MNIST上的实证结果表明，通过前瞻性配置训练的PCNs性能与反向传播相当，且在在线学习、少样本学习和持续学习场景中表现更优，与理论预测收敛至BP损失临界点一致。