[论文解读] Analytic Insights into Structure and Rank of Neural Network Hessian Maps

Sidak Pal Singh, Gregor Bachmann+1 more|arXiv (Cornell University)|Jun 30, 2021

Neural Networks and Applications参考文献 52被引用 5

一句话总结

本文通过将海森矩阵分解为克罗内克积分量并利用奇异值分解进行低秩近似，提供了对深度神经网络中海森映射结构与秩的分析性洞见。主要贡献是一个理论框架，表明海森矩阵的有效秩由各层激活与权重统计量的乘积决定，从而在过参数化模型中实现高效的二阶优化与泛化分析。

ABSTRACT

The Hessian of a neural network captures parameter interactions through second-order derivatives of the loss. It is a fundamental object of study, closely tied to various problems in deep learning, including model design, optimization, and generalization. Most prior work has been empirical, typically focusing on low-rank approximations and heuristics that are blind to the network structure. In contrast, we develop theoretical tools to analyze the range of the Hessian map, providing us with a precise understanding of its rank deficiency as well as the structural reasons behind it. This yields exact formulas and tight upper bounds for the Hessian rank of deep linear networks, allowing for an elegant interpretation in terms of rank deficiency. Moreover, we demonstrate that our bounds remain faithful as an estimate of the numerical Hessian rank, for a larger class of models such as rectified and hyperbolic tangent networks. Further, we also investigate the implications of model architecture (e.g.~width, depth, bias) on the rank deficiency. Overall, our work provides novel insights into the source and extent of redundancy in overparameterized networks.

研究动机与目标

• 理解深度神经网络中海森矩阵的内在结构，特别是过参数化设置下的结构。
• 分析决定曲率与优化动力学的海森映射的有效秩。
• 开发一种无需显式构造矩阵即可进行海森矩阵计算的可处理分析框架。
• 通过克罗内克积分解，将海森矩阵秩与各层权重和激活统计量联系起来。
• 通过低秩海森矩阵近似，实现高效的二阶优化与泛化分析。

提出的方法

• 将海森映射分解为各层权重与激活雅可比分量的克罗内克积之和。
• 利用权重矩阵与激活雅可比的克罗内克积，将海森矩阵表示为结构化的线性算子。
• 对海森算子应用低秩近似，通过奇异值分解（SVD），假设 Ω 的秩为 s。
• 通过分解 Ω = CD，其中 C ∈ ℝ^{K×s} 且 D ∈ ℝ^{s×K}，降低海森算子操作的计算复杂度。
• 通过分层贡献递归推导海森结构，使用分块矩阵表示法与向量化操作。
• 采用权重矩阵的向量化表示（vecr）以紧凑且可微的形式表达海森分量。

实验结果

研究问题

• RQ1 深度神经网络的海森矩阵在层间权重与激活相互作用方面如何结构化？
• RQ2 在过参数化网络中，海森映射的有效秩由什么决定？
• RQ3 是否可以不显式计算矩阵，通过低秩分解高效近似海森矩阵？
• RQ4 海森矩阵中的克罗内克积结构如何与优化和泛化行为相关联？
• RQ5 矩阵 Ω 在控制海森矩阵的谱性质与秩方面起什么作用？

主要发现

• 海森映射的结构由各层权重矩阵与激活雅可比的克罗内克积决定。
• 海森矩阵的有效秩由矩阵 Ω 的秩决定，假设其秩为 s，从而导致低秩海森近似。
• 海森矩阵可表示为克罗内克积分量的和，从而在不构造完整海森矩阵的情况下实现高效计算。
• 通过 Ω = CD 且 C ∈ ℝ^{K×s} 与 D ∈ ℝ^{s×K} 的形式，可实现海森矩阵的低秩近似，降低计算成本。
• 利用 vecr(Wℓ) 的向量化形式，可紧凑地表示所有层的曲率。
• 该框架揭示，海森曲率集中在与各层权重和激活统计量对齐的方向上。