[论文解读] All Local Minima are Global for Two-Layer ReLU Neural Networks: The Hidden Convex Optimization Landscape

Jonathan Lacotte, Mert Pilancı|arXiv (Cornell University)|Jun 10, 2020

Sparse and Compressive Sensing Techniques参考文献 26被引用 11

一句话总结

本文通过将任意神经网络的最小表示嵌入凸优化景观，证明了两层ReLU神经网络中的所有局部最小值都是全局最小值。利用该嵌入方法，作者建立了无虚假山谷的条件，并提出了一种多项式时间算法来验证全局最优性。

ABSTRACT

We are interested in two-layer ReLU neural networks from an optimization perspective. We prove that the path-connected sublevel set, i.e., valleys, of a neural network which is Clarke stationary with respect to the training loss with weight decay regularization contains a specific, simpler and more structured neural network, which we call its minimal representation. We provide an explicit construction of a continuous path between the neural network and its minimal counterpart. Importantly, we show that characterizing the optimality properties of a neural network can be reduced to characterizing those of its minimal representation. Thanks to the specific structure of minimal neural networks, we show that we can embed them into a convex optimization landscape. Leveraging convexity, we are able to (i) characterize the minimal size of the hidden layer so that the neural network optimization landscape has no spurious valleys and (ii) provide a polynomial-time algorithm for checking if a neural network is a global minimum of the training loss. Overall, we provide a rich framework for studying the landscape of the neural network training loss through our embedding to a convex optimization landscape.

研究动机与目标

• 理解带权重衰减正则化的两层ReLU神经网络的优化景观。
• 通过识别任意神经网络的最小表示，证明所有局部最小值均为全局最小值。
• 表明最优性表征可简化为对最小表示的分析。
• 将神经网络优化问题嵌入凸景观，以获得理论与算法优势。
• 推导损失景观中无虚假山谷的条件，并实现高效的全局最优性验证。

提出的方法

• 引入最小表示的概念——一种更简单、更结构化的神经网络，其位于与任意给定网络相同的子水平集内。
• 构建从任意神经网络到其最小表示的连续、路径连通的变换，同时保持子水平集成员关系。
• 证明网络的Clarke平稳性蕴含其最小表示的平稳性，从而实现最优性分析的简化。
• 通过特定参数化将最小表示嵌入凸优化框架，同时保持损失景观结构。
• 利用凸性推导出隐藏层宽度的条件，确保训练损失景观中无虚假山谷。
• 设计一种多项式时间算法，通过检查其最小表示来验证给定网络是否为训练损失的全局最小值。

实验结果

研究问题

• RQ1 能否证明带权重衰减的两层ReLU网络中的所有局部最小值均为全局最小值？
• RQ2 神经网络的何种结构特性使其优化景观可被嵌入凸景观？
• RQ3 神经网络的最小表示是什么？它与原网络最优性有何关系？
• RQ4 在何种隐藏层宽度条件下，训练损失景观中不包含虚假山谷？
• RQ5 能否在多项式时间内验证训练后网络的全局最优性？

主要发现

• 由于其最小表示的凸嵌入，带权重衰减正则化的两层ReLU网络中的所有局部最小值均为全局最小值。
• 神经网络的最小表示是一种更简单、更结构化的网络，位于相同的子水平集内，并完整保留了原网络的所有最优性特性。
• 任意神经网络与其最小表示之间存在连续路径，确保了子水平集的路径连通性。
• 最小表示可被嵌入凸优化景观，从而可应用凸分析工具。
• 存在一种多项式时间算法，可验证给定神经网络是否为训练损失的全局最小值。
• 在最小表示框架下，当隐藏层大小至少等于训练样本数量时，训练损失景观中不包含虚假山谷。