[论文解读] Local Propagation in Constraint-based Neural Network

Giuseppe Marra, Matteo Tiezzi+4 more|arXiv (Cornell University)|Feb 18, 2020

Neural Networks and Applications参考文献 26被引用 6

一句话总结

本文提出局部传播（LP），一种新颖的基于约束的神经网络训练方法，将学习过程建模为在权重、激活值和拉格朗日乘子的伴随空间中的鞍点搜索问题。通过执行完全局部化、可并行化的更新，LP 避免了梯度消失问题，能够有效训练具有硬约束的浅层与深层网络，同时与反向传播保持自然联系，并通过 epsilon-不敏感约束和 L1 正则化实现更强的鲁棒性。

ABSTRACT

In this paper we study a constraint-based representation of neural network architectures. We cast the learning problem in the Lagrangian framework and we investigate a simple optimization procedure that is well suited to fulfil the so-called architectural constraints, learning from the available supervisions. The computational structure of the proposed Local Propagation (LP) algorithm is based on the search for saddle points in the adjoint space composed of weights, neural outputs, and Lagrange multipliers. All the updates of the model variables are locally performed, so that LP is fully parallelizable over the neural units, circumventing the classic problem of gradient vanishing in deep networks. The implementation of popular neural models is described in the context of LP, together with those conditions that trace a natural connection with Backpropagation. We also investigate the setting in which we tolerate bounded violations of the architectural constraints, and we provide experimental evidence that LP is a feasible approach to train shallow and deep networks, opening the road to further investigations on more complex architectures, easily describable by constraints.

研究动机与目标

• 开发一种基于架构约束的新型神经网络训练框架，实现统一且原理严谨的学习方法。
• 通过设计完全局部化的优化过程，避免长距离反向传播链，解决深层网络中的梯度消失问题。
• 通过共享的拉格朗日形式化，建立所提方法与反向传播之间的自然联系。
• 研究通过 epsilon-不敏感和 L1 正则化形式化实现有界约束违反的可行性。
• 为未来探索可通过约束自然表达的复杂架构铺平道路。

提出的方法

• 该方法利用源自神经方程的架构约束，将神经网络学习建模为带约束的优化问题。
• 采用增广拉格朗日法严格强制约束，将问题转化为在权重、神经元输出和拉格朗日乘子上的鞍点搜索。
• 局部传播（LP）对权重和激活值执行梯度下降，对拉格朗日乘子执行梯度上升，所有操作均以完全局部化的方式在每个神经单元内进行。
• 由于每个单元的更新仅依赖于其相邻单元和局部乘子，该算法天然具备可并行性，避免了全局梯度依赖。
• 该方法引入 epsilon-不敏感约束以允许有界的违反，同时结合 L1 正则化以促进神经元激活路径的稀疏性。
• 该方法在多个基准数据集上进行了验证，结果表明 LP 在性能上可与标准反向传播相媲美或超越，尤其在引入正则化和容差设置时表现更优。

实验结果

研究问题

• RQ1 能否设计一种基于约束的神经网络训练方法，通过完全局部化更新避免梯度消失问题？
• RQ2 所提出的局部传播（LP）方法在性能和优化动力学方面与标准反向传播有何关系和对比？
• RQ3 通过 epsilon-不敏感函数允许有界约束违反，对泛化能力和训练稳定性有何影响？
• RQ4 L1 正则化在多大程度上提升了 LP 训练网络的性能和稀疏性？
• RQ5 LP 是否能有效应用于浅层与深层架构？是否为架构搜索开辟了新可能？

主要发现

• LP 在多个 UCI 和 MNIST 基准数据集上表现具有竞争力，平均测试准确率与标准反向传播相差仅 1-2%，且在引入正则化时通常表现更优。
• 在 Wine 数据集上，LP 配合 epsilon > 0 和 L1 正则化达到 98.86% ± 1.97 的准确率，与标准反向传播结果相当或更优。
• 在 Dermatology 数据集上，LP 配合 L1 正则化达到 98.63% ± 0.48 的准确率，显著优于非正则化变体。
• 使用 epsilon-不敏感约束在浅层网络（如 Ozone 数据集上达到 97.12% ± 0.13）中提升了性能，优于严格强制约束（96.96% ± 0.30），但深层网络对容差设置更为敏感。
• L1 正则化在所有数据集上均一致地提升了性能，表明其具有有益的稀疏性诱导效应，可增强泛化能力并提升模型可解释性。
• 该方法由于其局部更新结构展现出强大的可并行性，可在无需反向传播链的情况下高效地在神经元间并行计算。