[论文解读] Estimating the Hessian by Back-propagating Curvature

James Martens, Ilya Sutskever+1 more|arXiv (Cornell University)|Jun 27, 2012

Model Reduction and Neural Networks参考文献 12被引用 19

一句话总结

本文提出曲率传播（Curvature Propagation, CP），一种基于反向传播的新型方法，通过计算图高效估计可微函数的Hessian矩阵。通过仅增加两次额外的梯度计算，CP能够提供无偏的、秩-1的Hessian近似，并可迭代地改进估计结果，在神经网络和Score Matching应用中实现对对角线Hessian矩阵与完整Hessian矩阵的高精度估计。

ABSTRACT

In this work we develop Curvature Propagation (CP), a general technique for efficiently computing unbiased approximations of the Hessian of any function that is computed using a computational graph. At the cost of roughly two gradient evaluations, CP can give a rank-1 approximation of the whole Hessian, and can be repeatedly applied to give increasingly precise unbiased estimates of any or all of the entries of the Hessian. Of particular interest is the diagonal of the Hessian, for which no general approach is known to exist that is both efficient and accurate. We show in experiments that CP turns out to work well in practice, giving very accurate estimates of the Hessian of neural networks, for example, with a relatively small amount of work. We also apply CP to Score Matching, where a diagonal of a Hessian plays an integral role in the Score Matching objective, and where it is usually computed exactly using inefficient algorithms which do not scale to larger and more complex models.

研究动机与目标

• 解决深度学习模型中Hessian矩阵（尤其是其对角线）计算缺乏高效且准确方法的问题。
• 开发一种可扩展的技术，用于估计通过计算图定义的复杂可微函数的Hessian矩阵。
• 在精确计算不可行的大规模模型中，实现优化与正则化所需的准确Hessian矩阵估计。
• 提供一种通用解决方案，适用于各种机器学习目标中完整Hessian矩阵与对角线Hessian矩阵的估计。
• 克服现有对角线Hessian矩阵估计方法的局限性，这些方法要么不准确，要么对复杂模型计算成本过高。

提出的方法

• 提出曲率传播（CP），一种基于反向传播风格的算法，利用二阶信息计算无偏的Hessian近似。
• 使用均值为零、方差为1的随机向量，通过Hessian-向量乘积生成Hessian的秩-1近似。
• 通过反向模式微分应用Hessian-向量乘积，重用现有的反向传播基础设施。
• 通过多次独立随机向量迭代应用CP，以改进并降低Hessian估计的方差。
• 通过累积多个秩-1近似，实现对角线和完整Hessian矩阵元素的估计。
• 将CP无缝集成到现有计算图中，无需修改前向计算图，从而保持计算效率。

实验结果

研究问题

• RQ1 我们能否仅通过标准反向传播之外的两次额外梯度计算，实现对Hessian矩阵的无偏、低秩近似？
• RQ2 曲率传播能否在现有通用高效方法缺失的深度神经网络中，提供对Hessian矩阵对角线的高精度估计？
• RQ3 在Score Matching等大规模模型中，CP与精确或近似Hessian计算相比表现如何？
• RQ4 CP能否在复杂、高维的机器学习目标中高效应用，而不会带来显著的计算开销？
• RQ5 CP的迭代应用是否能在不同模型架构中持续提升Hessian估计的精度与稳定性？

主要发现

• CP仅通过标准反向传播之外的两次额外梯度计算，即可提供无偏的Hessian矩阵估计。
• 该方法在深度神经网络中对Hessian矩阵对角线的估计具有高精度，优于现有近似方法。
• CP实现了Score Matching中Hessian矩阵的高效计算，其中精确的对角线Hessian计算通常对大模型而言过于缓慢。
• CP的迭代应用可降低估计方差，以极低的额外成本逐步提升Hessian近似的精确度。
• 实验结果表明，CP即使在高维设置下也能生成可靠的Hessian估计，展现出鲁棒性与可扩展性。
• 该方法具有通用性，可应用于任何通过计算图计算的函数，因此在各类机器学习任务中具有广泛适用性。