[论文解读] A Multi-Batch L-BFGS Method for Machine Learning

Albert S. Berahas, Jorge Nocedal+1 more|arXiv (Cornell University)|May 19, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用 27

一句话总结

本文提出了一种鲁棒的多批次 L-BFGS 方法，通过利用重叠的数据批次，在分布式机器学习中稳定拟牛顿更新，实现无需同步开销的高效大批次优化。该方法即使在梯度基于不同数据子集计算时，也能实现稳定的海森矩阵近似，在凸与非凸问题上表现出优异的收敛性和可扩展性，且通信成本极低。

ABSTRACT

The question of how to parallelize the stochastic gradient descent (SGD) method has received much attention in the literature. In this paper, we focus instead on batch methods that use a sizeable fraction of the training set at each iteration to facilitate parallelism, and that employ second-order information. In order to improve the learning process, we follow a multi-batch approach in which the batch changes at each iteration. This can cause difficulties because L-BFGS employs gradient differences to update the Hessian approximations, and when these gradients are computed using different data points the process can be unstable. This paper shows how to perform stable quasi-Newton updating in the multi-batch setting, illustrates the behavior of the algorithm in a distributed computing platform, and studies its convergence properties for both the convex and nonconvex cases.

研究动机与目标

• 解决在分布式或异步设置中，梯度基于不同数据批次计算时 L-BFGS 的不稳定性问题。
• 在无需严格数据一致性或同步的前提下，实现在机器学习中的高效大批次优化。
• 开发一种容错的拟牛顿方法，在部分或延迟的节点响应下仍能保持收敛性和稳定性。
• 通过使用重叠批次实现计算与通信成本的平衡，以实现稳定的海森矩阵更新。

提出的方法

• 该方法基于连续批次的交集（重叠）进行拟牛顿更新，而非依赖完整的梯度差值。
• 采用鲁棒的 L-BFGS 公式，仅依赖重叠数据点进行海森矩阵更新，从而避免因数据采样不一致导致的不稳定性。
• 采用无向量 L-BFGS 实现，每轮迭代以 O(d) 次操作高效计算搜索方向。
• 算法基于 MPI 设计用于分布式平台，通过忽略无响应节点实现容错，且不中断更新过程。
• 采用固定步长策略进行收敛性分析，确保在凸与非凸设置下的稳定性。
• 在真实数据集（kddb、url）和人工数据上进行评估，以研究强可扩展性与弱可扩展性特性。

实验结果

研究问题

• RQ1 在梯度基于不同数据子集计算的多批次设置中，能否实现稳定的拟牛顿更新？
• RQ2 在分布式系统中存在数据不一致或节点故障时，该方法在收敛性和鲁棒性方面表现如何？
• RQ3 批次重叠大小对大规模机器学习中 L-BFGS 的稳定性和性能有何影响？
• RQ4 在不同问题规模和硬件配置下，该方法在计算与通信成本方面的可扩展性如何？
• RQ5 该方法能否在保持低通信开销的同时，实现比标准 L-BFGS 或 SGD 更快的收敛速度？

主要发现

• 该多批次 L-BFGS 方法通过仅依赖重叠数据点进行更新，即使在梯度基于不同数据批次计算时，也能实现稳定的海森矩阵近似。
• 在 kddb 和 url 数据集上，当存在故障（如 30% 节点故障率）时，鲁棒 L-BFGS 方法优于标准 L-BFGS，且在 10 次运行中表现一致。
• 强可扩展性实验表明，随着 MPI 进程数增加，梯度计算和 L-BFGS 计算时间减少，但通信开销限制了进一步收益。
• 弱可扩展性实验表明，当数据量与进程数成比例增加时，每个进程的梯度计算时间几乎保持恒定，表明负载均衡良好。
• 对于包含 10^7 个样本、d=10^4 的问题，使用 128 个进程可在每轮迭代中于 0.1 秒内处理 192GB 数据，表明一个训练周期时间约为 1 秒。
• 问题维度 d 的增加对梯度计算时间影响较小，但对 L-BFGS 方向计算时间影响更显著，尤其在包含通信开销时。