[论文解读] Elimination of All Bad Local Minima in Deep Learning
作者证明在每个输出单元增加一个神经元，可以消除任意深度网络在实际损失假设下的所有次优局部极小值；增加的神经元效应在局部极小值处消失，并引入基于 PGB 的分析。
In this paper, we theoretically prove that adding one special neuron per output unit eliminates all suboptimal local minima of any deep neural network, for multi-class classification, binary classification, and regression with an arbitrary loss function, under practical assumptions. At every local minimum of any deep neural network with these added neurons, the set of parameters of the original neural network (without added neurons) is guaranteed to be a global minimum of the original neural network. The effects of the added neurons are proven to automatically vanish at every local minimum. Moreover, we provide a novel theoretical characterization of a failure mode of eliminating suboptimal local minima via an additional theorem and several examples. This paper also introduces a novel proof technique based on the perturbable gradient basis (PGB) necessary condition of local minima, which provides new insight into the elimination of local minima and is applicable to analyze various models and transformations of objective functions beyond the elimination of local minima.
研究动机与目标
- 激发深度网络中糟糕局部极小值的挑战，并寻求超参数化之外的理论保证。
- 提出一个最小的结构修改，消除所有次优局部极小值。
- 证明在任意局部极小值处，原始网络参数实现基对象的全局最小值。
- 表征局部极小值消除的失败模式，并引入一种新的证明技巧（PGB），可应用于超出本问题的情形。
提出的方法
- 通过对每个输出单元新增一个神经元、采用指数形式并对新增权重加正则化，定义一个辅助目标。
- 证明辅助目标的局部极小值蕴含原始网络在基目标上的全局最优。
- 使用可扰动梯度基（PGB）的必要条件推导消除结果。
- 在标准可微分和凸损失准则下给出证明，并讨论较弱的可实现数据假设。
- 表征一种失败模式并讨论对基于梯度的优化的影响。
实验结果
研究问题
- RQ1一个单一、最小的结构性改变是否能在跨任务和损失的深度网络中保证消除所有坏的局部极小值？
- RQ2在什么假设下该消除成立，以及在最优时新增的神经元如何与原始网络参数相互作用？
- RQ3此消除方法的局限性或失败模式是什么，特别是对于基于梯度的优化？
- RQ4新的 PGB 框架如何揭示目标函数超出局部极小值消除的更广泛变换。
主要发现
- 为每个输出单元添加一个神经元可确保修改后的目标的每个局部极小值都对应原始目标的全局极小值。
- 在每个局部极小值处，修改后的网络简化为原始网络，新增组件消失。
- 在温和假设下，对多类分类、二分类和回归，使用常见损失函数的结果成立。
- 一种新颖的 PGB 必要条件提供了分析局部极小值的通用工具，并且可应用于超出本问题的场景。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。