[论文解读] Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale of Symmetry

Yossi Arjevani, Michael Field|arXiv (Cornell University)|Aug 4, 2020

Physics of Superconductivity and Magnetism参考文献 37被引用 4

一句话总结

该论文首次通过对称性和表示理论，对浅层 ReLU 网络中的 Hessian 特征值谱进行了严格的解析表征。结果表明，当 $ d \to k $ 时，$ dk - O(d) $ 个特征值集中在零附近，而 $ \Omega(d) $ 个特征值随 $ k $ 线性增长，从而以可证明的方式解决了长期存在的关于 Hessian 极端谱偏斜的观测现象。

ABSTRACT

We consider the optimization problem associated with fitting two-layers ReLU networks with respect to the squared loss, where labels are generated by a target network. We leverage the rich symmetry structure to analytically characterize the Hessian at various families of spurious minima in the natural regime where the number of inputs $d$ and the number of hidden neurons $k$ is finite. In particular, we prove that for $d\ge k$ standard Gaussian inputs: (a) of the $dk$ eigenvalues of the Hessian, $dk - O(d)$ concentrate near zero, (b) $Ω(d)$ of the eigenvalues grow linearly with $k$. Although this phenomenon of extremely skewed spectrum has been observed many times before, to our knowledge, this is the first time it has been established {rigorously}. Our analytic approach uses techniques, new to the field, from symmetry breaking and representation theory, and carries important implications for our ability to argue about statistical generalization through local curvature.

研究动机与目标

• 对有限 $ d $ 和 $ k $ 的两层 ReLU 网络在临界点处的 Hessian 特征值谱进行解析表征。
• 通过严格分析，解决长期观察到的 Hessian 特征值谱极端偏斜现象——即大多数特征值接近零，而少数特征值较大。
• 基于群对称性和表示理论，构建一个新框架，以分解伪最小值处的 Hessian。
• 利用精确的谱结果，检验并验证深度学习中关于曲率、优化和泛化能力的长期假设。
• 证明当 $ d \geq k \geq 6 $ 时，类型 A、I 和 II 伪最小值的存在性及其谱特性。

提出的方法

• 利用损失函数在权重矩阵 $ \mathbf{W} $ 的行与列排列下的不变性，对应于 $ S_k \times S_d $ 对称性。
• 使用表示理论将 Hessian 分解为同构分量，从而实现在临界点处的精确谱分析。
• 应用 $ 1/\sqrt{k} $ 的幂级数展开，描述临界点及其 Hessian 结构。
• 通过几何量（如角度 $ \theta_{\mathbf{w}_i, \mathbf{w}_j} $ 和权重向量的范数）推导 Hessian 块的显式表达式。
• 利用 Hessian 的 $ S_k $-表示，通过不可约表示（特别是 $ H_{k-1} $ 和 $ T $）计算特征值，适用于对称临界点。
• 通过扰动训练好的模型进行数值验证，观察特征值是否聚集在预测值附近。

实验结果

研究问题

• RQ1 在有限 $ d $ 和 $ k $ 的浅层 ReLU 网络中，伪最小值处的 Hessian 特征值谱具有怎样的解析结构？
• RQ2 为何经验研究始终观察到 Hessian 特征值谱呈现高度偏斜——即大多数特征值接近零，而少数特征值较大？
• RQ3 能否利用学生-教师 ReLU 模型的对称性，推导出临界点处 Hessian 的精确谱结果？
• RQ4 当 $ d \geq k \geq 6 $ 时，类型 A、I 和 II 伪最小值是否存在？其谱特性如何？
• RQ5 全局最小值与伪最小值的谱特性有何异同？这对平坦最小值假说意味着什么？

主要发现

• 当 $ d \geq k $ 时，Hessian 的 $ dk - O(d) $ 个特征值集中在零附近，表明存在一个巨大的零空间。
• 至少 $ \Omega(d) $ 个特征值随 $ k $ 线性增长，证实存在少数曲率较大的方向。
• 类型 II 伪最小值表现出 $ k+1 $ 个异常特征值：其中 $ k $ 个特征值的尺度为 $ k/4 $，一个为 $ k/(2\pi) $。
• 类型 A 伪最小值具有 $ k $ 个特征值，其尺度为 $ k/4 $，一个为 $ (k+1)/4 $，并带有 $ O(k^{-1/2}) $ 阶的微小修正。
• 当 $ k=50 $ 时，全局最小值与类型 A 伪最小值的 Hessian 谱几乎无法区分，对平坦最小值猜想提出了挑战。
• 在 $ \widetilde{\mathbf{W}} = \widetilde{\mathbf{V}} $ 处，Hessian 的特征值为 $ 1/4 $（重数 $ m(k-1) $）和 $ (k+2)/4 $（重数 $ m $），该结果由 $ S_k $-表示分解导出。