[论文解读] On the Benefit of Width for Neural Networks: Disappearance of Bad Basins

Dawei Li, Tian Ding+1 more|arXiv (Cornell University)|Dec 28, 2018

Stochastic Gradient Optimization Techniques参考文献 88被引用 31

一句话总结

本文证明，宽度神经网络——特别是最后一层隐藏层中至少包含 N 个神经元的网络（其中 N 为训练样本数量）——其损失曲面中不存在次优盆地（集合意义上的严格局部最小值），而宽度较窄、神经元少于 N 个的网络则可能包含此类不良盆地。其核心贡献在于，在对激活函数和数据的假设最少的前提下，仅因宽度本身而引发从优化脆弱的窄网络到优化鲁棒的宽网络的相变。

ABSTRACT

Wide networks are often believed to have a nice optimization landscape, but what rigorous results can we prove? To understand the benefit of width, it is important to identify the difference between wide and narrow networks. In this work, we prove that from narrow to wide networks, there is a phase transition from having sub-optimal basins to no sub-optimal basins. Specifically, we prove two results: on the positive side, for any continuous activation functions, the loss surface of a class of wide networks has no sub-optimal basins, where "basin" is defined as the set-wise strict local minimum; on the negative side, for a large class of networks with width below a threshold, we construct strict local minima that are not global. These two results together show the phase transition from narrow to wide networks.

研究动机与目标

• 识别神经网络在深度和表征能力之外的、与宽度相关的严格优势。
• 确定仅靠宽度是否能消除损失曲面中的次优局部最小值（不良盆地）。
• 建立网络从窄到宽的优化曲面结构相变。
• 证明对于任意连续激活函数，最后一层隐藏层中神经元数不少于 N 的宽网络，其损失曲面中不存在次优盆地。
• 构造具有不良盆地的窄网络显式实例，证明宽度对曲面简化是必要的。

提出的方法

• 引入并形式化 '性质 PT'：在任意微小扰动后，存在一条严格递减路径通往全局最小值。
• 证明性质 PT 意味着不存在次优集合意义上的严格局部最小值（不良盆地），从而确立弱全局性。
• 利用激活函数的连续性与通用逼近定理，将宽网络的经验损失近似为具有性质 PT 的函数类。
• 通过使用隐藏层少于 N 个神经元且激活函数为解析函数的单隐藏层网络，构造显式反例，证明存在非全局的严格局部最小值。
• 采用计算方法求解方程组（例如涉及激活函数导数的方程组），以验证特定网络实例中不良盆地的存在性。
• 运用几何与分析技术，证明对于最后一层隐藏层中神经元数不少于 N 的宽网络，无论激活函数如何，均不存在不良盆地。

实验结果

研究问题

• RQ1 仅增加宽度是否能消除神经网络损失曲面中的次优盆地？
• RQ2 我们能否严格证明在优化曲面结构上，窄网络与宽网络之间存在相变？
• RQ3 对于哪些网络宽度，损失函数对任意连续激活函数均变为弱全局（即无不良盆地）？
• RQ4 我们能否为一大类激活函数构造具有次优严格局部最小值的显式窄网络？
• RQ5 宽网络中不良盆地的缺失是否依赖于深度、数据分布或激活函数类型？

主要发现

• 对于任意连续激活函数，若全连接前馈网络在最后一层隐藏层中至少包含 N 个神经元（其中 N 为训练样本数量），则其损失曲面中不存在次优盆地。
• 此类宽网络的损失函数是弱全局的，意味着即使存在局部最小值的平坦区域，也不存在有界且虚假的局部最小值区域。
• 从窄网络到宽网络发生相变：最后一层隐藏层中神经元少于 N 个的网络可能具有非全局的严格局部最小值，而神经元数不少于 N 个的网络则不会。
• 对于使用 Swish 激活函数且具有特定数据的单隐藏层网络，计算构造验证了在 (v,w)=(1,1) 处存在一个次优严格局部最小值，从而证实了不良盆地的理论存在性。
• 该结果仅需最小假设：仅要求激活函数连续，且网络宽度足够（最后一层隐藏层中神经元数 ≥N）。
• 本文表明，仅靠宽度本身，无需无穷宽度或特定数据分布，即可消除不良盆地，从而为宽度在优化中的明确理论优势提供了支持。