[论文解读] Minimizing Control for Credit Assignment with Strong Feedback

Alexander Meulemans, Matilde Tristany Farinha+3 more|arXiv (Cornell University)|Apr 14, 2022

Neuroinflammation and Neurodegeneration Mechanisms被引用 4

一句话总结

本文提出 Strong-DFC，一种生物上合理的信用分配方法，利用强反馈信号驱动神经网络逼近监督目标，将优化重新定义为最小化控制努力而非最小化损失。该方法通过完全局部、时间同步的可塑性规则，实现前向权重与反馈权重的同时学习，在视觉基准测试中表现优异，且对噪声具有鲁棒性，为深度学习提供了新颖的控制理论视角，避免了生物上不合理的假设（如弱反馈或权重共享）。

ABSTRACT

The success of deep learning ignited interest in whether the brain learns hierarchical representations using gradient-based learning. However, current biologically plausible methods for gradient-based credit assignment in deep neural networks need infinitesimally small feedback signals, which is problematic in biologically realistic noisy environments and at odds with experimental evidence in neuroscience showing that top-down feedback can significantly influence neural activity. Building upon deep feedback control (DFC), a recently proposed credit assignment method, we combine strong feedback influences on neural activity with gradient-based learning and show that this naturally leads to a novel view on neural network optimization. Instead of gradually changing the network weights towards configurations with low output loss, weight updates gradually minimize the amount of feedback required from a controller that drives the network to the supervised output label. Moreover, we show that the use of strong feedback in DFC allows learning forward and feedback connections simultaneously, using learning rules fully local in space and time. We complement our theoretical results with experiments on standard computer-vision benchmarks, showing competitive performance to backpropagation as well as robustness to noise. Overall, our work presents a fundamentally novel view of learning as control minimization, while sidestepping biologically unrealistic assumptions.

研究动机与目标

• 为解决深层神经网络中反向传播的生物不现实性，特别是其对弱反馈和非局部权重更新的依赖。
• 开发一种与强自顶向下反馈兼容的基于梯度的信用分配方法，无需严格协调的可塑性阶段。
• 仅使用局部、时间对齐的信号，实现前向权重与反馈权重的同时学习，与皮层微环路一致。
• 证明最小化达到目标输出所需的控制努力——而非损失——可作为深度网络中合理的优化目标。

提出的方法

• 该方法使用反馈控制器，驱动网络活动匹配固定的监督目标，而非对当前输出进行微弱调整。
• 权重更新源自一个代理损失的负梯度，该损失量化了达到目标所需的反馈控制能量。
• 学习规则在空间和时间上完全局部，仅依赖于每个突触的突触前与突触后活动及反馈信号。
• 反馈权重与前向权重同步更新，消除了 DFC 等先前方法所需的两阶段训练流程。
• 该框架利用动态反馈机制，强反馈显著改变神经活动，从而增强对噪声的鲁棒性。
• 理论分析表明，在灵活的反馈连接条件下，更新遵循控制能量损失的负梯度。

实验结果

研究问题

• RQ1 在不损害学习效率的前提下，强反馈信号能否在深度神经网络的信用分配中有效使用？
• RQ2 最小化达到目标输出所需的控制努力，是否能实现深度网络的有效且稳定的训练？
• RQ3 能否仅使用局部、时间对齐的可塑性规则，实现前向权重与反馈权重的同时学习？
• RQ4 与反向传播和标准 DFC 相比，该方法在性能和抗噪声能力方面表现如何？
• RQ5 学习过程是否对样本重复使用具有不变性，表明其具备持续学习的潜力？

主要发现

• Strong-DFC 在标准计算机视觉基准测试中实现了具有竞争力的性能，准确率接近反向传播方法。
• 该方法对神经动力学中的噪声具有鲁棒性，在高噪声条件下表现优于标准 DFC，后者在高噪声下无法稳定训练。
• 在不重复访问样本的情况下进行训练，性能与标准训练几乎相同，表明 Strong-DFC 不依赖于对同一数据的重复暴露。
• Strong-DFC 权重更新与控制损失真实梯度之间的对齐度很高，证实了该方法的理论基础。
• 反馈与前向输入幅度的比值相近，表明反馈在塑造神经活动方面发挥了重要作用。
• 条件 1（确保反馈矩阵与网络稳态动力学对齐）得到良好满足，支持了理论假设。