[论文解读] Critical Points of Linear Neural Networks: Analytical Forms and Landscape Properties

Yi Zhou, Yingbin Liang|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques参考文献 23被引用 43

一句话总结

本文对具有平方损失的线性神经网络中的临界点和全局最小值进行了完整的解析表征，证明其不存在虚假局部最小值。此外，研究还表明，单隐藏层ReLU网络确实存在非全局局部最小值，揭示了线性与非线性浅层网络在优化景观上的根本差异。

ABSTRACT

Due to the success of deep learning to solving a variety of challenging machine learning tasks, there is a rising interest in understanding loss functions for training neural networks from a theoretical aspect. Particularly, the properties of critical points and the landscape around them are of importance to determine the convergence performance of optimization algorithms. In this paper, we provide a necessary and sufficient characterization of the analytical forms for the critical points (as well as global minimizers) of the square loss functions for linear neural networks. We show that the analytical forms of the critical points characterize the values of the corresponding loss functions as well as the necessary and sufficient conditions to achieve global minimum. Furthermore, we exploit the analytical forms of the critical points to characterize the landscape properties for the loss functions of linear neural networks and shallow ReLU networks. One particular conclusion is that: While the loss function of linear networks has no spurious local minimum, the loss function of one-hidden-layer nonlinear networks with ReLU activation function does have local minimum that is not global minimum.

研究动机与目标

• 对线性神经网络中平方损失的临界点和全局最小值进行解析表征。
• 确定线性网络中实现全局最小值的必要和充分条件。
• 研究线性网络与浅层ReLU网络中损失函数的景观特性。
• 澄清不同网络架构中是否存在虚假局部最小值。

提出的方法

• 使用矩阵微积分和奇异值分解，推导线性神经网络中临界点的解析形式。
• 通过特征值和秩分析，建立临界点为全局最小值的必要和充分条件。
• 利用临界点的解析形式，分析损失景观的全局结构。
• 通过与线性网络景观的对比，将分析扩展至单隐藏层ReLU网络。
• 利用矩阵优化理论，表征临界点附近损失函数的行为。
• 比较线性网络与ReLU激活网络的优化景观，识别虚假局部最小值的存在。

实验结果

研究问题

• RQ1 具有平方损失的线性神经网络中临界点的解析形式是什么？
• RQ2 临界点在何种条件下可成为线性网络的全局最小值？
• RQ3 单隐藏层ReLU网络的损失函数是否包含非全局的局部最小值？
• RQ4 线性网络与浅层ReLU网络的景观特性有何不同？
• RQ5 网络架构的何种结构性特征导致虚假局部最小值的存在或缺失？

主要发现

• 具有平方损失的线性神经网络的临界点具有精确的解析形式，可完全表征其损失值和最优性条件。
• 线性网络中的临界点是全局最小值，当且仅当其满足由解析形式导出的特定秩和奇异值条件。
• 线性网络不存在虚假局部最小值——所有局部最小值均为全局最小值。
• 相比之下，单隐藏层ReLU网络确实存在非全局的局部最小值，表明存在虚假解。
• 临界点的解析表征使得对损失景观的完整理解成为可能，包括线性网络中不存在不良局部最小值。
• 研究结果揭示了线性与非线性浅层网络在优化行为上的根本差异，ReLU网络更易发生次优收敛。