[论文解读] Landscape analysis for shallow ReLU neural networks: complete classification of critical points for affine target functions.

Patrick Cheridito, Arnulf Jentzen+1 more|arXiv (Cornell University)|Mar 19, 2021

Stochastic Gradient Optimization Techniques参考文献 23被引用 11

一句话总结

该论文对具有一个隐藏层的浅层ReLU神经网络在目标函数为仿射函数时的临界点进行了完整分类。通过对手动神经元配置的组合分析，证明了所有局部极小点和鞍点具有特定的结构形式，并表明损失曲面中不存在局部极大点。

ABSTRACT

In this paper, we analyze the landscape of the true loss of a ReLU neural network with one hidden layer. We provide a complete classification of the critical points in the case where the target function is affine. In particular, we prove that local minima and saddle points have to be of a special form and show that there are no local maxima. Our approach is of a combinatorial nature and builds on a careful analysis of the different types of hidden neurons that can occur in a ReLU neural network.

研究动机与目标

• 理解具有一个隐藏层的浅层ReLU神经网络在仿射目标函数下的损失曲面特性。
• 对这类网络中出现的所有临界点——局部极小点、鞍点和局部极大点——进行分类。
• 确定局部极大点是否存在，并表征局部极小点与鞍点的结构形式。
• 开发一种组合框架，用于分析ReLU网络中神经元的行为与激活模式。

提出的方法

• 基于神经元激活模式与权重结构的隐藏神经元配置的组合分析。
• 根据神经元在表示仿射目标函数中的作用，将其分类为不同类型。
• 通过权重与偏置的几何与代数约束，系统性枚举可能的临界点类型。
• 通过分析ReLU损失函数的次微分，推导临界点的必要条件。
• 利用ReLU网络的分段线性结构，将参数空间划分为具有一致激活模式的区域。
• 通过反证法与情形分析，排除局部极大点的存在。

实验结果

研究问题

• RQ1 在具有仿射目标函数的浅层ReLU网络的损失曲面中，是否存在局部极大点？
• RQ2 此类网络中，局部极小点与鞍点具有何种结构形式？
• RQ3 隐藏神经元的激活模式如何约束临界点的位置与性质？
• RQ4 是否可以使用组合方法对所有临界点进行穷举分类？

主要发现

• 在具有仿射目标函数的浅层ReLU网络的损失曲面中，不存在局部极大点。
• 所有局部极小点均由活跃与非活跃神经元的特定配置表征，精确表示目标函数。
• 所有鞍点也表现出与目标函数部分表示相关的特定组合结构。
• 临界点的分类完全由隐藏层中神经元激活模式的组合类型决定。