[论文解读] A Critical View of Global Optimality in Deep Learning
本文通过分析深度线性与非线性网络的损失曲面，对深度学习中的全局最优性进行了关键分析。研究证明，对于深度线性网络，临界点继承了线性参数化的结构特性，从而能够区分全局最小值与鞍点；对于具有ReLU类激活函数的非线性网络，研究揭示了在实际数据集上存在无穷多个次优局部最小值，并构造了反例表明局部最小值可能严格劣于全局最小值。
We investigate the loss surface of deep linear and nonlinear neural networks. We show that for deep linear networks with differentiable losses, critical points after the multilinear parameterization inherit the structure of critical points of the underlying loss with linear parameterization. As corollaries we obtain minima are results that subsume most previous results, while showing how to distinguish global minima from saddle points. For nonlinear neural networks, we prove two theorems showing that even for networks with one hidden layer, there can be spurious local minima. Indeed, for piecewise linear nonnegative homogeneous activations (e.g., ReLU), we prove that for almost all practical datasets there exist infinitely many local minima that are not global. We conclude by constructing a counterexample involving other activation functions (e.g., sigmoid, tanh, arctan, etc.), for which there exists a local minimum strictly inferior to the global minimum.
研究动机与目标
- 研究深度线性与非线性神经网络中临界点的结构。
- 确定是否能够可靠地区分全局最小值与鞍点或次优局部最小值。
- 考察在实际深度学习设置中（尤其是使用常见非线性激活函数时）虚假局部最小值的普遍性。
- 构建明确的反例，表明局部最小值可能严格劣于全局最小值。
提出的方法
- 在多重线性参数化下分析深度线性网络的损失曲面，以将临界点与线性参数化的临界点关联起来。
- 运用微分几何与优化理论，刻画线性网络中临界点的结构。
- 证明对于具有分段线性非负齐次激活函数（如ReLU）的一层隐藏层网络，存在无穷多个非全局的局部最小值。
- 使用非多面体激活函数（如Sigmoid、tanh、arctan）构造显式反例，表明局部最小值可能严格劣于全局最小值。
- 应用测度论论证，表明对于几乎所有实际数据集，此类次优最小值均普遍存在。
实验结果
研究问题
- RQ1在深度线性网络中，能否通过多重线性参数化区分全局最小值与鞍点？
- RQ2在真实数据集上，具有ReLU类激活函数的非线性深度网络中是否存在次优局部最小值？
- RQ3深度网络中的局部最小值是否可能严格劣于全局最小值？若存在，其条件是什么？
- RQ4激活函数的选择如何影响虚假局部最小值的存在性与严重程度？
主要发现
- 对于具有可微损失函数的深度线性网络，多重线性参数化下的临界点继承了线性参数化下临界点的结构，从而能够更清晰地识别全局最小值。
- 在一隐藏层非线性网络中，若使用ReLU类激活函数，则对于几乎所有实际数据集，均存在无穷多个非全局的局部最小值。
- 对于某些非线性激活函数（如Sigmoid、tanh、arctan），显式反例表明局部最小值可能严格劣于全局最小值。
- 研究结果表明，即使在使用标准非线性激活函数的相对简单架构中，深度学习训练的全局最优性假设也并非必然成立。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。