[论文解读] GPU Accelerated Sub-Sampled Newton's Method

Sudhir B. Kylasa, Farbod Roosta-Khorasani+2 more|arXiv (Cornell University)|Feb 26, 2018

Stochastic Gradient Optimization Techniques参考文献 28被引用 5

一句话总结

本文提出了一种基于GPU加速的子采样牛顿法，通过随机化Hessian矩阵和梯度采样，在大规模机器学习中实现快速且鲁棒的收敛。通过利用GPU并行计算，该方法在毫秒级别内达到更高的测试准确率，比一阶方法快达100倍，且超参数调优需求极低。

ABSTRACT

First order methods, which solely rely on gradient information, are commonly used in diverse machine learning (ML) and data analysis (DA) applications. This is attributed to the simplicity of their implementations, as well as low per-iteration computational/storage costs. However, they suffer from significant disadvantages; most notably, their performance degrades with increasing problem ill-conditioning. Furthermore, they often involve a large number of hyper-parameters, and are notoriously sensitive to parameters such as the step-size. By incorporating additional information from the Hessian, second-order methods, have been shown to be resilient to many such adversarial effects. However, these advantages of using curvature information come at the cost of higher per-iteration costs, which in \enquote{big data} regimes, can be computationally prohibitive. In this paper, we show that, contrary to conventional belief, second-order methods, when implemented appropriately, can be more efficient than first-order alternatives in many large-scale ML/ DA applications. In particular, in convex settings, we consider variants of classical Newton extsf{'}s method in which the Hessian and/or the gradient are randomly sub-sampled. We show that by effectively leveraging the power of GPUs, such randomized Newton-type algorithms can be significantly accelerated, and can easily outperform state of the art implementations of existing techniques in popular ML/ DA software packages such as TensorFlow. Additionally these randomized methods incur a small memory overhead compared to first-order methods. In particular, we show that for million-dimensional problems, our GPU accelerated sub-sampled Newton extsf{'}s method achieves a higher test accuracy in milliseconds as compared with tens of seconds for first order alternatives.

研究动机与目标

• 解决一阶方法在病态条件下的收敛性差和对超参数高度敏感的问题。
• 通过随机子采样梯度和Hessian矩阵，降低经典牛顿方法在大数据场景下的每轮计算成本。
• 证明第二阶梯度方法可在现代硬件（尤其是GPU）上实现高效实用化，适用于大规模机器学习应用。
• 展示经GPU加速的子采样牛顿方法在速度和准确率上均优于当前最先进的第一阶实现（如TensorFlow中的实现）。
• 通过牛顿型方法中自然步长α=1，减少对大量超参数调优的需求。

提出的方法

• 在牛顿型方法中使用Hessian和梯度的随机子采样，将每轮计算成本从O(n)降低至关于n的近似常数。
• 使用CUDA实现子采样牛顿方法的GPU优化版本，以并行化矩阵运算和线性系统求解。
• 采用不精确求解技术求解牛顿系统，使用迭代求解器（如共轭梯度）并提前终止，进一步降低计算成本。
• 仅偶尔使用线搜索策略，因为方法本身因包含曲率信息而具有内在稳定性，从而减少对人工调优的依赖。
• 通过仅存储子采样后的Hessian和梯度近似值，而非完整矩阵，保持低内存开销。
• 将该方法集成至可扩展的框架中，支持机器学习中常见的大规模有限和问题，如经验风险最小化。

实验结果

研究问题

• RQ1 当在GPU上加速时，子采样牛顿方法是否能在大规模机器学习问题中实现比一阶方法更快的收敛速度和更高的最终测试准确率？
• RQ2 GPU加速在多大程度上缓解了第二阶梯度方法在大数据环境下的高每轮计算成本？
• RQ3 在对病态条件的鲁棒性方面，子采样牛顿方法与SGD、Adam和RMSProp等一阶方法相比表现如何？
• RQ4 一阶方法对学习率选择的敏感程度如何？牛顿型方法是否能减少对超参数调优的需求？
• RQ5 子采样牛顿方法是否能在毫秒内实现百万维问题的高测试准确率，而一阶方法则需数十秒？

主要发现

• 对于百万维问题，GPU加速的子采样牛顿方法在毫秒内达到更高测试准确率，而一阶方法则需数十秒。
• 在Gisette数据集上，FullNewton在0.6秒（11轮迭代）内达到98.3%的测试准确率，优于一阶方法，后者需100轮迭代才能达到97%。
• 在Gisette上，SubsampledNewton-100在34轮迭代内达到98%的测试准确率，而一阶方法在20%批量大小下进展缓慢。
• 在Real-Sim数据集上，牛顿型方法在相当或更短的时间内达到与一阶方法相当或更低的目标函数值，其中FullNewton仅用2轮迭代就达到97.3%的准确率。
• 一阶方法（如带动量的SGD、Adagrad、RMSProp和Adam）对学习率高度敏感：过小值导致停滞，过大值导致发散，仅在极窄范围内才能获得可接受性能。
• 子采样牛顿方法使用自然步长α=1，仅偶尔需要线搜索，而一阶方法通常需要大量调优，且对初始步长选择极为敏感。