[论文解读] Block-diagonal Hessian-free Optimization for Training Neural Networks

Huishuai Zhang, Caiming Xiong+2 more|arXiv (Cornell University)|Dec 20, 2017

Stochastic Gradient Optimization Techniques参考文献 37被引用 10

一句话总结

本文提出了一种块对角 Hessian-free（HF）优化方法，通过将 Hessian-向量乘积限制在层内参数块内，近似曲率矩阵，从而实现各块独立的共轭梯度更新。该方法在收敛速度、泛化性能和大规模小批量训练的可扩展性方面均优于标准 HF 和 Adam 方法，所需更新次数最多减少一个数量级，同时保持计算效率。

ABSTRACT

Second-order methods for neural network optimization have several advantages over methods based on first-order gradient descent, including better scaling to large mini-batch sizes and fewer updates needed for convergence. But they are rarely applied to deep learning in practice because of high computational cost and the need for model-dependent algorithmic variations. We introduce a variant of the Hessian-free method that leverages a block-diagonal approximation of the generalized Gauss-Newton matrix. Our method computes the curvature approximation matrix only for pairs of parameters from the same layer or block of the neural network and performs conjugate gradient updates independently for each block. Experiments on deep autoencoders, deep convolutional networks, and multilayer LSTMs demonstrate better convergence and generalization compared to the original Hessian-free approach and the Adam method.

研究动机与目标

• 为解决深度学习中二阶优化方法计算成本高且可扩展性差的问题，特别是在大规模小批量设置下。
• 通过利用曲率矩阵中的结构稀疏性，改进 Hessian-free 优化的收敛性和稳定性。
• 在保持或提升泛化性能的前提下，减少达到收敛所需的优化更新次数。
• 通过解耦网络各层之间的参数更新，实现更好的并行化和分布式训练可扩展性。
• 通过实证验证，块对角曲率矩阵近似可显著提升深度神经网络中 Hessian-free 优化的性能。

提出的方法

• 该方法使用块对角结构近似广义高斯-牛顿矩阵，其中每个块对应神经网络中的单个层或模块。
• 仅在每个参数块内部计算 Hessian-向量乘积，避免完整 Hessian 矩阵的计算，从而降低计算复杂度。
• 共轭梯度（CG）更新在各块内独立进行，实现可分离的子问题并提升并行化能力。
• 曲率近似通过每次 Hessian-向量乘积仅需一次前向和一次反向传播计算，利用高效的自动微分技术。
• 该方法在保持 Hessian-free 框架避免显式 Hessian 逆运算能力的同时，显著降低了每次迭代的计算成本。
• 该方法采用固定学习率和阻尼强度，Polyak 平均用于确保不同方法之间的公平比较。

实验结果

研究问题

• RQ1 块对角曲率矩阵近似是否能提升深度神经网络中 Hessian-free 优化的收敛性和稳定性？
• RQ2 将曲率计算限制在层内参数块内，是否能减少达到收敛所需的优化更新次数，相比标准 Hessian-free 和一阶方法？
• RQ3 在大规模小批量设置下，块对角 HF 方法的性能如何？尤其当一阶方法如 Adam 出现泛化性能下降时？
• RQ4 块对角结构在分布式训练环境中在多大程度上提升了并行化和可扩展性？
• RQ5 与完整 Hessian-free 和自适应一阶方法（如 Adam）相比，块对角近似是否能保持或提升泛化性能？

主要发现

• 块对角 Hessian-free 方法在达到相当或更优的测试准确率时，所需优化更新次数比 Adam 最多减少一个数量级，尤其在大规模小批量设置下表现显著。
• 在深度自编码器和多层 LSTM 上，块对角 HF 方法在训练损失和泛化性能方面均优于标准 Hessian-free 和 Adam，即使曲率小批量大小较小亦然。
• 在简化 ResNet 的 CIFAR-10 图像分类任务中，块对角 HF 方法在测试准确率和训练稳定性方面优于标准 Hessian-free，尤其在因小批量导致曲率估计噪声较大时表现更优。
• 该方法的计算效率与标准 Hessian-free 相当，单次迭代耗时为 Adam 的 5–10 倍，但总迭代次数显著更少。
• 块对角 HF 方法在大规模小批量设置下展现出卓越的可扩展性，避免了 Adam 和标准 HF 在此类条件下常见的性能衰减。
• 各块间子问题的可分性天然支持并行化，表明其在分布式和大规模机器学习应用中具有强大潜力。