[论文解读] Efficient Distributed Hessian Free Algorithm for Large-scale Empirical Risk Minimization via Accumulating Sample Strategy

Majid Jahani, Xi He+5 more|arXiv (Cornell University)|Oct 26, 2018

Stochastic Gradient Optimization Techniques参考文献 31被引用 12

一句话总结

该论文提出DANCE，一种分布式、无需Hessian矩阵的算法，通过累积采样策略高效求解大规模经验风险最小化问题。通过迭代求解样本规模逐步增大的子问题，并利用预处理共轭梯度法执行牛顿步，DANCE在统计精度范围内实现快速收敛，并在分布式环境中表现出强可扩展性。

ABSTRACT

In this paper, we propose a Distributed Accumulated Newton Conjugate gradiEnt (DANCE) method in which sample size is gradually increasing to quickly obtain a solution whose empirical loss is under satisfactory statistical accuracy. Our proposed method is multistage in which the solution of a stage serves as a warm start for the next stage which contains more samples (including the samples in the previous stage). The proposed multistage algorithm reduces the number of passes over data to achieve the statistical accuracy of the full training set. Moreover, our algorithm in nature is easy to be distributed and shares the strong scaling property indicating that acceleration is always expected by using more computing nodes. Various iteration complexity results regarding descent direction computation, communication efficiency and stopping criteria are analyzed under convex setting. Our numerical results illustrate that the proposed method outperforms other comparable methods for solving learning problems including neural networks.

研究动机与目标

• 通过减少Hessian矩阵求逆的开销，降低大规模经验风险最小化中二阶方法的高计算成本。
• 克服SGD等一阶方法在分布式环境中因通信瓶颈和超参数敏感性导致的效率低下问题。
• 通过逐步增加样本规模，从较小的子问题开始，实现快速收敛至统计精度。
• 设计一种原生分布式的算法，表现出强可扩展性，确保计算节点增加时实现线性加速。
• 开发一种可扩展的二阶方法，在避免完整Hessian矩阵计算的同时保持快速收敛速率。

提出的方法

• 提出一种多阶段算法，每个阶段使用更大规模的数据子集，包含之前所有样本，并以前一阶段的解作为热启动。
• 通过预处理共轭梯度（PCG）方法实现不精确的阻尼牛顿步，高效求解牛顿系统，而无需显式计算Hessian矩阵。
• 采用累积采样策略：从较小批量开始，逐步增加样本数量，同时保持解的连续性。
• 通过将梯度和Hessian-向量乘积计算拆分到多个节点上，利用分布式计算。
• 通过最小化通信开销并最大化每个节点的计算效率，确保强可扩展性。
• 集成自适应样本规模技术，当达到统计精度时提前停止，避免在完整数据集上进行不必要的计算。

实验结果

研究问题

• RQ1 能否在不显式计算Hessian矩阵的前提下，使二阶方法在大规模ERM问题中实现可扩展性和高效性？
• RQ2 累积采样策略是否能减少数据遍历次数，同时保持收敛至统计精度？
• RQ3 分布式牛顿型方法在实际中能否实现强可扩展性，即随着节点数增加实现近似线性加速？
• RQ4 与SGD和Adam等一阶方法相比，所提方法在收敛速度和超参数敏感性方面表现如何？
• RQ5 与现有二阶和一阶方法相比，该方法的通信和计算复杂度如何？

主要发现

• DANCE的总计算复杂度为Õ((log N)³ N¹ᐟ⁴ d²)，在大规模问题中显著低于AdaNewton和k-TAN。
• 在单位时间内损失下降速度方面，DANCE比SGD和Adam更快，尤其在分布式环境中表现更优。
• DANCE展现出强可扩展性：增加计算节点可实现接近线性的加速，如图4所示，在大批次情况下加速比接近理想性能。
• 该方法对超参数调优具有鲁棒性——与SGD和Adam不同，DANCE无需仔细调整初始学习率或批量大小。
• 在Cifar10数据集上使用VGG11时，DANCE在收敛速度上优于PyTorch内置的SGD优化器，且无需超参数调优即可达到相当或更优的准确率。
• 在Mnist数据集上使用NaiveCNet的实验表明，DANCE在测试准确率上具有竞争力，且训练时间快于Adam，尤其在CPU上的总运行时间更优。