[论文解读] Beyond Random Matrix Theory for Deep Networks

Diego Granziol|arXiv (Cornell University)|Jun 13, 2020

Random Matrices and Applications参考文献 46被引用 7

一句话总结

本文通过展示训练后神经网络Hessian矩阵的实证谱密度与理论预测存在显著偏差，挑战了在深度学习理论中使用Wigner和Marcenko-Pastur随机矩阵系综的合理性。研究提出了乘积型与渗滤型Wigner/Wishart系综，能更准确匹配观测到的谱分布，并预测在零处存在离散谱峰，从而解释了优化景观中低损失连通性的现象。

ABSTRACT

We investigate whether the Wigner semi-circle and Marcenko-Pastur distributions, often used for deep neural network theoretical analysis, match empirically observed spectral densities. We find that even allowing for outliers, the observed spectral shapes strongly deviate from such theoretical predictions. This raises major questions about the usefulness of these models in deep learning. We further show that theoretical results, such as the layered nature of critical points, are strongly dependent on the use of the exact form of these limiting spectral densities. We consider two new classes of matrix ensembles; random Wigner/Wishart ensemble products and percolated Wigner/Wishart ensembles, both of which better match observed spectra. They also give large discrete spectral peaks at the origin, providing a theoretical explanation for the observation that various optima can be connected by one dimensional of low loss values. We further show that, in the case of a random matrix product, the weight of the discrete spectral component at $0$ depends on the ratio of the dimensions of the weight matrices.

研究动机与目标

• 评估广泛使用的随机矩阵系综（Wigner、Marcenko-Pastur）是否能准确描述真实深度神经网络Hessian矩阵的谱密度。
• 研究在存在非i.i.d.权重和异常值等现实偏差时，关于分层临界点结构的理论结论的稳健性。
• 识别并验证能更好匹配现代网络中实证观测到的Hessian谱的替代随机矩阵系综。
• 通过零处的理论谱峰，解释神经网络优化中观察到的低损失连通性现象。
• 通过理论与实证分析，量化谱简并性在零处的权重与网络深度和宽度的依赖关系。

提出的方法

• 通过精确计算与采样方法，实证测量在CIFAR-100和MNIST数据集上训练的VGG-16与PreResNet-110模型的Hessian谱密度。
• 将观测到的谱分布与高斯正交系综（GOE）和Wishart系综的理论预测进行对比。
• 提出并分析两种新型随机矩阵系综：Wigner/Wishart矩阵的乘积系综与渗滤系综。
• 推导随机矩阵乘积中零处离散谱分量的理论表达式，揭示其对矩阵维度比的依赖关系。
• 使用直方图与热图可视化，评估各层Hessian矩阵中的稀疏性与质量分布。
• 应用随机矩阵理论结果（如极端特征值行为、谱边缘标度）来解释真实网络谱中的偏差。

实验结果

研究问题

• RQ1 训练后的深度神经网络Hessian矩阵的谱密度是否符合随机矩阵理论所预测的Wigner半圆律或Marcenko-Pastur律？
• RQ2 当权重和输入的i.i.d.假设被违反，或存在异常值时，关于分层临界点结构的理论结论的有效性如何受到影响？
• RQ3 能否通过Wigner/Wishart矩阵的乘积或渗滤形式等替代随机矩阵系综，更好地匹配实证观测到的Hessian谱？
• RQ4 神经网络Hessian矩阵中观测到的零处离散谱峰的理论基础是什么？其与低损失连通性有何关联？
• RQ5 深度网络中，零处谱分量的权重如何依赖于层间维度的比值？

主要发现

• 在CIFAR-100上训练的VGG-16与PreResNet-110模型的实证Hessian谱密度与Wigner和Marcenko-Pastur预测存在显著偏差，即使在考虑异常值后依然如此。
• 在放松i.i.d.假设或引入异常值后，基于i.i.d.假设推导出的关于深度网络中分层临界点结构的理论结论不再成立。
• 随机矩阵乘积系综（Wigner/Wishart）与渗滤系综比标准系综更能匹配观测到的Hessian谱。
• 两种替代系综均预测在零处存在显著的离散谱分量，为低损失连通性的实证观察提供了理论解释。
• 在理论假设下，零处谱分量的质量随网络深度增加而上升，并依赖于层间维度的比值。
• Hessian矩阵中存在稀疏性，但不足以解释谱形状——VGG-16中84±13%的元素低于10⁻⁶，但谱分布仍非半圆状。