[论文解读] Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation?

Beren Millidge, Tommaso Salvatori+3 more|arXiv (Cornell University)|Feb 18, 2022

Functional Brain Connectivity Studies被引用 7

一句话总结

本文提出预测编码（PC）作为深度学习中反向传播的生物可解释替代方案，利用局部、误差驱动的更新机制，实现在任意图结构上的可扩展、可并行训练。结果表明，PC网络在分类任务上的性能可与反向传播相媲美，同时在生成模型、联想记忆和联合推理-控制系统的应用中展现出更优的灵活性。

ABSTRACT

The backpropagation of error algorithm used to train deep neural networks has been fundamental to the successes of deep learning. However, it requires sequential backward updates and non-local computations, which make it challenging to parallelize at scale and is unlike how learning works in the brain. Neuroscience-inspired learning algorithms, however, such as \emph{predictive coding}, which utilize local learning, have the potential to overcome these limitations and advance beyond current deep learning technologies. While predictive coding originated in theoretical neuroscience as a model of information processing in the cortex, recent work has developed the idea into a general-purpose algorithm able to train neural networks using only local computations. In this survey, we review works that have contributed to this perspective and demonstrate the close theoretical connections between predictive coding and backpropagation, as well as works that highlight the multiple advantages of using predictive coding models over backpropagation-trained neural networks. Specifically, we show the substantially greater flexibility of predictive coding networks against equivalent deep neural networks, which can function as classifiers, generators, and associative memories simultaneously, and can be defined on arbitrary graph topologies. Finally, we review direct benchmarks of predictive coding networks on machine learning classification tasks, as well as its close connections to control theory and applications in robotics.

研究动机与目标

• 探究预测编码（PC）是否可通过利用局部、生物可解释的学习规则，成为深度学习中反向传播的可行替代方案。
• 建立PC与反向传播之间的理论联系，证明在特定条件下，PC的参数更新在数学上等价于反向传播。
• 展示预测编码网络（PCN）的优越灵活性，使其可在任意图结构上同时作为分类器、生成器和联想记忆系统使用。
• 在大规模机器学习基准上评估PCN，并与同等架构下通过反向传播训练的网络进行性能对比。
• 探索PCN在机器人学与控制中的潜力，通过将其与主动推理和控制即推理框架相连接。

提出的方法

• 将预测编码网络（PCN）推导为在高斯生成模型下自由能原理的一个特例，从而实现变分推断与学习。
• 采用基于层间传递预测误差的局部突触更新机制，避免了对权重矩阵进行非局部反向传播。
• 将该算法应用于图像分类任务的PCN训练，采用误差驱动学习，使推断与学习在分层架构中同步进行。
• 将PCN建模为概率图模型，其中推断通过最小化变分自由能实现，从而通过主动推理实现联合状态估计与控制。
• 采用统一框架，通过条件化于期望结果来推断动作节点，实现在机器人系统中的控制即推理。
• 在标准机器学习数据集上进行直接基准测试，比较PCN与标准反向传播网络在同等架构下的性能表现。

实验结果

研究问题

• RQ1 预测编码网络中的权重更新规则与反向传播训练的人工神经网络中的规则有何关联？
• RQ2 预测编码网络是否能在标准机器学习基准上实现与反向传播训练网络相当的性能？
• RQ3 预测编码在架构灵活性方面具有哪些优势，例如处理任意图结构或多种推断任务？
• RQ4 PC更新的局部性如何使其相比反向传播更易于并行化，并更适合神经形态硬件？
• RQ5 在哪些场景下预测编码优于反向传播，特别是在处理缺失数据、生成建模或联合推断与控制任务中？

主要发现

• 尽管仅使用局部、误差驱动的更新，预测编码网络在标准基准上的分类性能与反向传播训练的网络相当。
• PCN可在同一架构中同时充当分类器、生成器和联想记忆系统，而标准ANN则需为每项任务单独训练。
• 在特定条件下（如高斯生成模型和线性化推断），PC与反向传播在数学上具有等价性，建立了坚实的理论联系。
• PCN在处理缺失数据方面表现出更优的灵活性，因其能自然地对不完整输入进行推断，而ANN则需依赖启发式插补策略。
• PCN中权重更新的局部性使其具备更高的并行化潜力并降低通信开销，因此更适用于大规模神经形态硬件上的训练。
• PCN已成功应用于机器人与控制任务，包括无人机和四旋翼飞行器的控制，通过主动推理原理将控制建模为推断。