[论文解读] Backpropagation and Biological Plausibility

Alessandro Betti, Marco Gori+1 more|arXiv (Cornell University)|Aug 21, 2018

Neural Networks and Applications参考文献 2被引用 3

一句话总结

本文通过在权重、激活值和乘子的拉格朗日伴随空间中将监督学习表述为鞍点搜索，提出了一种生物上可行的反向传播替代方法。通过以梯度下降方式更新权重、以梯度下降方式更新激活值、以梯度上升方式更新乘子，该方法实现了完全局部的学习动态，避免了反向传播中的非局部权重传输问题，同时通过ℓ₁正则化识别支持神经元，实现了自动网络架构构建。

ABSTRACT

By and large, Backpropagation (BP) is regarded as one of the most important neural computation algorithms at the basis of the progress in machine learning, including the recent advances in deep learning. However, its computational structure has been the source of many debates on its arguable biological plausibility. In this paper, it is shown that when framing supervised learning in the Lagrangian framework, while one can see a natural emergence of Backpropagation, biologically plausible local algorithms can also be devised that are based on the search for saddle points in the learning adjoint space composed of weights, neural outputs, and Lagrangian multipliers. This might open the doors to a truly novel class of learning algorithms where, because of the introduction of the notion of support neurons, the optimization scheme also plays a fundamental role in the construction of the architecture.

研究动机与目标

• 解决长期以来对反向传播的批评，即其依赖非局部权重传输，因而生物上不可行。
• 开发一种学习算法，在保持反向传播优化能力的同时，确保所有更新均为局部的，并在生物学背景下计算上可行。
• 探讨拉格朗日框架如何自然地导致通过ℓ₁正则化产生支持神经元和稀疏网络架构。
• 证明在伴随空间（权重、激活值、拉格朗日乘子）中搜索鞍点可产生与反向传播具有相同渐近复杂度的完全局部学习算法。

提出的方法

• 使用拉格朗日函数将监督学习表述为带约束的优化问题，将神经网络动态作为等式约束。
• 在拉格朗日函数中引入损失项、对隐藏神经元激活值的ℓ₁正则化项，以及用于强制执行神经计算约束的拉格朗日乘子。
• 推导拉格朗日函数的平稳性条件，获得梯度更新规则：对权重和激活值执行梯度下降，对乘子执行梯度上升。
• 实现一种联合更新规则，使每个神经元本地计算其相对于输入和输出的梯度，避免全局反向传播。
• 在隐藏神经元激活值上引入ℓ₁正则化，以区分支持神经元（λᵢᵏ ≠ 0）和稻草神经元（λᵢᵏ = 0），实现自动剪枝。
• 证明该算法的时间复杂度为Θ(|𝒜|·ℓ)，与标准反向传播的渐近复杂度一致，同时保持完全局部性。

实验结果

研究问题

• RQ1 基于拉格朗日形式化的学习算法能否在保持与反向传播相同优化性能的同时，实现完全局部化？
• RQ2 支持神经元的概念如何自然地从拉格朗日鞍点框架中产生？它们在网络架构构建中起什么作用？
• RQ3 所提方法是否消除了对非局部权重传输的需求，从而解决了反向传播生物可行性中的一个关键异议？
• RQ4 该算法能否扩展至在线学习和小批量学习，同时保持其局部更新结构？
• RQ5 对隐藏激活值施加ℓ₁正则化如何通过识别支持神经元，导致稀疏、剪枝化架构的出现？

主要发现

• 所提算法通过以梯度下降方式更新权重、以梯度下降方式更新激活值、以梯度上升方式更新拉格朗日乘子，实现了完全局部的学习动态，消除了对非局部权重传输的需求。
• 当αₖⱼ = 0时，拉格朗日函数的平稳性条件恢复了经典反向传播的分解形式，表明在无正则化条件下与标准反向传播具有一致性。
• 在ℓ₁正则化下，算法自然识别出支持神经元（λₖᵢ ≠ 0）和稻草神经元（λₖᵢ = 0），实现自动网络剪枝与架构构建。
• 该算法保持与标准反向传播相同的渐近时间复杂度Θ(|𝒜|·ℓ)，确保计算效率。
• 通过在拉格朗日框架中表达数据诱导约束，该方法可扩展至循环网络和结构化数据（如图）。
• 该算法的局部性质表明其具有生物可行性，尤其适用于批处理模式或具有固有时间结构的任务；然而，其在线扩展需要对中间变量进行预测。