[论文解读] Globally Optimal Training of Generalized Polynomial Neural Networks with Nonlinear Spectral Methods

Antoine Gautier, Quynh Nguyen+1 more|arXiv (Cornell University)|Oct 28, 2016

Machine Learning and ELM被引用 16

一句话总结

本文提出了一种非线性谱方法，用于广义多项式神经网络在非负权重和修改目标函数下的全局最优训练，可在弱数据假设下实现线性收敛和全局最优性保证。这是首个在理论上保证全局收敛的实用方法，适用于前馈网络，在UCI数据集上验证了其具有竞争力的性能。

ABSTRACT

The optimization problem behind neural networks is highly non-convex. Training with stochastic gradient descent and variants requires careful parameter tuning and provides no guarantee to achieve the global optimum. In contrast we show under quite weak assumptions on the data that a particular class of feedforward neural networks can be trained globally optimal with a linear convergence rate with our nonlinear spectral method. Up to our knowledge this is the first practically feasible method which achieves such a guarantee. While the method can in principle be applied to deep networks, we restrict ourselves for simplicity in this paper to one and two hidden layer networks. Our experiments confirm that these models are rich enough to achieve good performance on a series of real-world datasets.

研究动机与目标

• 开发一种广义多项式神经网络的全局最优训练方法，确保收敛至全局最优解。
• 提供一种具有线性收敛速率的实际算法，克服随机梯度下降在非凸优化中的局限性。
• 在弱假设下确保全局最优性，具体而言仅需非负数据和权重，而非复杂的张量分解或密度估计。
• 在真实世界、低维UCI数据集上展示该方法的有效性，同时在架构约束下保持模型表达能力。
• 建立理论条件——基于一个小矩阵的谱半径——以保证全局最优性，而无需迭代验证。

提出的方法

• 该方法使用修改后的目标函数，将输出的总负和加入标准交叉熵损失中，以实现全局优化。
• 通过在权重矩阵 $w$ 和 $u$ 的 $L_p$-范数上施加约束，强制实现非负权重和归一化参数。
• 该算法基于非线性谱迭代 $G^\Phi$，对参数 $(w,u)$ 执行固定点更新，其收敛性通过压缩映射原理证明。
• 若推导出的矩阵 $A$ 的谱半径 $\rho(A)$ 小于1，则可保证全局最优性，该条件可在训练前预先验证。
• 该方法适用于单隐层和双隐层网络，理论上可扩展至更深架构。
• 收敛速率为线性，且算法通过基于谱半径和期望精度 $\tau$ 的停止准则实现。

实验结果

研究问题

• RQ1 能否为广义多项式神经网络开发一种既理论严谨又实际可行的全局最优训练方法？
• RQ2 强制非负权重和修改目标函数是否可在弱假设下实现线性收敛速率的全局收敛？
• RQ3 谱半径条件 $\rho(A) < 1$ 是否可作为神经网络训练中全局最优性的充分且可检查的准则？
• RQ4 该全局最优方法在真实世界数据集上的性能与标准深度学习基线（如ReLU网络和核SVM）相比如何？
• RQ5 在实践中，非负权重的约束在多大程度上限制了模型的表达能力？

主要发现

• 所提出的非线性谱方法在条件 $\rho(A) < 1$ 下，可实现对单隐层和双隐层广义多项式网络的全局最优性，且该条件可在训练前检查。
• 该方法表现出线性收敛，因此在UCI数据集上的训练动态中，其收敛速度显著快于随机梯度下降。
• 在多个UCI数据集中，NLSM1和NLSM2均表现出具有竞争力的性能，其中NLSM2在Cancer、Haberman和Pima数据集上优于所有基线方法。
• 尽管存在架构约束（非负权重），模型仍能学习复杂的决策边界，如二维玩具示例中的可视化所示。
• 该方法在收敛速度上优于Batch-SGD，并且始终能达到更低的目标值，证实了其理论上的线性收敛速率。
• 在Iris和Banknote等简单数据集上，ReLU网络与该方法之间的性能差距可归因于后者受限的架构，其在低维设置下表达能力受限。