[论文解读] Geometry of the Loss Landscape in Overparameterized Neural Networks: Symmetries and Invariances

Berfin Şimşek, François Gaston Ged+5 more|arXiv (Cornell University)|May 25, 2021

Stochastic Gradient Optimization Techniques参考文献 37被引用 14

一句话总结

本文通过分析排列对称性与不变性，研究了过参数化两层及多层神经网络中损失曲面的几何结构。结果表明，每层增加一个神经元可将离散的全局最小值连接成一个单一的零损失临界点连通流形，该流形中仿射子空间的数量在适度过参数化与极度过参数化情形下表现出不同的缩放规律——当 h ≪ r∗ 时，由对称性诱导的临界点主导；当 h ≫ r∗ 时，由全局最小值子空间主导。

ABSTRACT

We study how permutation symmetries in overparameterized multi-layer neural networks generate `symmetry-induced' critical points. Assuming a network with $ L $ layers of minimal widths $ r_1^*, \ldots, r_{L-1}^* $ reaches a zero-loss minimum at $ r_1^*! \cdots r_{L-1}^*! $ isolated points that are permutations of one another, we show that adding one extra neuron to each layer is sufficient to connect all these previously discrete minima into a single manifold. For a two-layer overparameterized network of width $ r^*+ h =: m $ we explicitly describe the manifold of global minima: it consists of $ T(r^*, m) $ affine subspaces of dimension at least $ h $ that are connected to one another. For a network of width $m$, we identify the number $G(r,m)$ of affine subspaces containing only symmetry-induced critical points that are related to the critical points of a smaller network of width $r

研究动机与目标

• 理解过参数化神经网络中的排列对称性如何生成临界点，并影响全局最小值的连通性。
• 以仿射子空间及其连通性为指标，表征全局最小值流形的几何结构。
• 推导网络宽度与过参数化程度的函数关系下，对称性诱导临界子空间与全局最小值子空间数量的闭式公式。
• 研究这些子空间在适度过参数化（h ≪ r∗）与极度过参数化（h ≫ r∗）情形下的缩放行为。
• 证明较小网络中的鞍点在扩展网络后会转化为对称性诱导的鞍点，而非局部最小值。

提出的方法

• 利用多层网络中的排列对称性，将窄网络（宽度 r）的临界点映射到更宽网络（宽度 m = r + h），从而生成对称性诱导的临界子空间。
• 通过组合分析推导出两层网络中构成全局最小值流形的仿射子空间数量 T(r∗, m) 的闭式表达式。
• 推导出仅包含与更窄网络（宽度 r < r∗）相关的对称性诱导临界点的仿射子空间数量 G(r, m)。
• 应用渐近分析与数学归纳法，建立 T(r∗, m) 与 G(r∗−k, m) 在小过参数化（h ≪ r∗）与大过参数化（h ≫ r∗）极限下的缩放行为。
• 通过证明向每个隐藏层添加至少一个神经元可确保全局最小值流形在所有层间保持连通，将分析扩展至多层网络。
• 使用 Nørlund-Rice 积分与鞍点法对 G(r, m) 进行精细化渐近分析，尽管此部分被指出超出了主要结果的范围。

实验结果

研究问题

• RQ1 过参数化神经网络中的排列对称性如何生成临界点？它们如何影响全局最小值的连通性？
• RQ2 在两层过参数化网络中，全局最小值流形的精确几何结构（仿射子空间的数量与维度）是什么？
• RQ3 在适度过参数化（h ≪ r∗）与极度过参数化（h ≫ r∗）情形下，对称性诱导临界子空间数量与全局最小值子空间数量的相对缩放行为如何？
• RQ4 在窄网络中为鞍点的点，在通过增加神经元扩展网络后，是否会演变为局部最小值？
• RQ5 当在深层网络的多个隐藏层中增加神经元时，全局最小值流形的连通性如何变化？

主要发现

• 对于具有最小宽度 r∗₁,…,r∗_{L−1} 的 L 层网络，每层增加一个神经元即可将 r∗₁!⋯r∗_{L−1} 个孤立的全局最小值连接成一个单一的连通零损失流形。
• 对于宽度为 m = r∗ + h 的两层网络，全局最小值流形由至少 h 维的 T(r∗, m) 个仿射子空间构成，且该流形是连通的。
• 在适度过参数化情形（h ≪ r∗）下，对称性诱导临界子空间数量（G(r∗−k, m)）超过全局最小值子空间数量（T(r∗, m)），表明鞍点数量显著增加。
• 在极度过参数化情形（h ≫ r∗）下，全局最小值子空间数量（T(r∗, m)）超过对称性诱导临界子空间数量（G(r∗−k, m)），表明存在一个“巨大”的全局最小值流形。
• G(r, m) 的渐近行为为 ∼rm（当固定 r 且 m 较大时），而 T(r∗, m) 在适度过参数化情形下满足 ∼(r∗)^h / (2^h h! m!)。
• 窄网络（宽度 r）中的鞍点在扩展为更宽网络后，会转化为对称性诱导的鞍点，而非局部最小值，从而保持了优化景观结构的稳定性。