[论文解读] Large Scale Distributed Hessian-Free Optimization for Deep Neural Network.

Xi He, Dheevatsa Mudigere+2 more|arXiv (Cornell University)|Jun 2, 2016

Stochastic Gradient Optimization Techniques参考文献 25被引用 5

一句话总结

本文提出了一种大规模分布式Hessian-free优化方法，用于深度神经网络训练，通过稳定化的双共轭梯度法和利用负曲率信息，高效地逃离鞍点，从而加速训练。该方法在最多16个CPU节点上实现了近线性的加速，并支持比SGD大一个数量级的批量大小，显著提升了扩展效率和收敛速度。

ABSTRACT

Training deep neural network is a high dimensional and a highly non-convex optimization problem. Stochastic gradient descent (SGD) algorithm and it's variations are the current state-of-the-art solvers for this task. However, due to non-covexity nature of the problem, it was observed that SGD slows down near saddle point. Recent empirical work claim that by detecting and escaping saddle point efficiently, it's more likely to improve training performance. With this objective, we revisit Hessian-free optimization method for deep networks. We also develop its distributed variant and demonstrate superior scaling potential to SGD, which allows more efficiently utilizing larger computing resources thus enabling large models and faster time to obtain desired solution. Furthermore, unlike truncated Newton method (Marten's HF) that ignores negative curvature information by using na\ive conjugate gradient method and Gauss-Newton Hessian approximation information - we propose a novel algorithm to explore negative curvature direction by solving the sub-problem with stabilized bi-conjugate method involving possible indefinite stochastic Hessian information. We show that these techniques accelerate the training process for both the standard MNIST dataset and also the TIMIT speech recognition problem, demonstrating robust performance with upto an order of magnitude larger batch sizes. This increased scaling potential is illustrated with near linear speed-up on upto 16 CPU nodes for a simple 4-layer network.

研究动机与目标

• 解决深度神经网络训练中随机梯度下降（SGD）在鞍点附近收敛缓慢的问题。
• 克服现有Hessian-free方法因采用朴素共轭梯度法和高斯-牛顿近似而忽略负曲率的局限性。
• 开发一种可扩展的、分布式的Hessian-free优化变体，以更好地利用大规模计算资源。
• 在不牺牲收敛速度的前提下，实现比SGD大一个数量级的批量大小训练。
• 通过稳定化的双共轭方法利用不定随机Hessian信息，提升优化效率。

提出的方法

• 通过稳定化的双共轭梯度法引入负曲率信息，重新审视深度网络的Hessian-free优化。
• 用能处理不定Hessian近似的稳定化变体，替代传统Hessian-free方法中的朴素共轭梯度方法。
• 利用随机Hessian信息捕捉优化过程中的曲率动态，包括负曲率。
• 设计Hessian-free算法的分布式实现，实现最多16个CPU节点的近线性加速。
• 将高斯-牛顿Hessian近似与稳定化的双共轭方法结合，以提升收敛稳定性和性能。
• 采用稳定化的双共轭方法求解子问题，以处理由随机Hessian估计产生的不定系统。

实验结果

研究问题

• RQ1 所提出的分布式Hessian-free优化方法在大规模深度神经网络上是否能在训练速度和可扩展性方面优于SGD？
• RQ2 通过稳定化的双共轭方法利用负曲率信息，是否能比标准Hessian-free方法更快地逃离鞍点？
• RQ3 在Hessian-free优化中，批量大小可被提升到何种程度而不影响收敛性？与SGD相比如何？
• RQ4 在大规模CPU集群上，分布式Hessian-free方法可实现多大程度的加速？
• RQ5 在非凸深度学习问题中，使用随机Hessian近似时，所提出的方法如何保持鲁棒性和收敛性？

主要发现

• 所提出的Hessian-free方法在最多16个CPU节点上实现了近线性加速，表明其在可扩展性方面显著优于SGD。
• 该方法支持的批量大小比SGD使用的批量大小大一个数量级，从而更高效地利用大规模计算资源。
• 通过稳定化的双共轭方法利用负曲率信息，该算法在MNIST和TIMIT数据集上均加速了收敛并提升了训练性能。
• Hessian-free优化器的分布式变体在训练速度上优于SGD，尤其在需要大批次的场景中表现更优。
• 该方法在不同深度学习任务中表现出稳健性能，包括图像分类（MNIST）和语音识别（TIMIT），证实了其泛化能力。
• 结合稳定化的双共轭方法使用随机Hessian近似，能够有效处理不定曲率，提升鞍点逃离能力和优化稳定性。