[论文解读] AdaDelay: Delay Adaptive Distributed Stochastic Convex Optimization

Suvrit Sra, Adams Wei Yu+2 more|arXiv (Cornell University)|Aug 20, 2015

Stochastic Gradient Optimization Techniques参考文献 13被引用 20

一句话总结

AdaDelay 提出了一种延迟自适应的异步随机梯度下降算法，该算法使用实际观测到的延迟而非最坏情况下的延迟上限来调整学习率，从而在分布式学习中实现更快的初始收敛速度和更高的测试准确率。该方法在大规模数据集（如 Criteo 和 CTR2）上实现了最先进性能，尤其在高延迟慢启动者（stragglers）导致的延迟下表现优异，且内存开销极小，接近线性加速。

ABSTRACT

We study distributed stochastic convex optimization under the delayed gradient model where the server nodes perform parameter updates, while the worker nodes compute stochastic gradients. We discuss, analyze, and experiment with a setup motivated by the behavior of real-world distributed computation networks, where the machines are differently slow at different time. Therefore, we allow the parameter updates to be sensitive to the actual delays experienced, rather than to worst-case bounds on the maximum delay. This sensitivity leads to larger stepsizes, that can help gain rapid initial convergence without having to wait too long for slower machines, while maintaining the same asymptotic complexity. We obtain encouraging improvements to overall convergence for distributed experiments on real datasets with up to billions of examples and features.

研究动机与目标

• 为解决分布式随机优化中使用最坏情况延迟上限所导致的局限性，这些上限在真实云环境中可能过于悲观。
• 设计一种异步 SGD 算法，使其能够根据计算过程中实际经历的可变延迟进行自适应，而非依赖于上界假设。
• 在存在慢启动者和异构工作节点性能的大型机器学习系统中，提升收敛速度和测试准确率。
• 在保持理论最优性的同时，通过延迟敏感的自适应机制实现更大的初始学习率。
• 在包含超过百亿个样本的真实世界数据集上验证该方法，展示其在类似生产环境中的实际优势。

提出的方法

• AdaDelay 使用服务器端更新机制，将学习率按实际观测到的延迟反比缩放，而非使用固定值或最坏情况延迟上限。
• 其采用延迟自适应的学习率规则，对来自较慢工作节点的延迟梯度增加有效学习率，减少偏差并加速收敛。
• 该算法为每个工作节点维护轻量级的延迟跟踪机制，实现实时自适应，且计算和内存开销极小。
• 它集成了延迟敏感的梯度聚合机制，结合了 AdaGrad 等自适应方法与异步更新的优点。
• 该方法在两种现实的延迟模型下进行了分析：有界（均匀）延迟模型，以及具有有限一阶与二阶矩但无界支持的缩放延迟模型。
• 理论分析表明，即使学习率因延迟波动而呈现非单调变化，该方法在两种延迟模型下仍能实现最优收敛速率。

实验结果

研究问题

• RQ1 使用实际观测到的延迟而非最坏情况延迟上限，是否能加快分布式随机凸优化的收敛速度？
• RQ2 延迟自适应学习率选择在存在慢启动者的大型机器学习系统中，对测试准确率和泛化能力有何影响？
• RQ3 延迟敏感的梯度聚合对参数服务器架构中的系统可扩展性和内存效率有何影响？
• RQ4 在真实世界数据集上，AdaDelay 与 AsyncAdaGrad 和 AdaptiveRevision 等现有方法相比，其收敛速度和模型质量如何？
• RQ5 延迟自适应方法是否能在异构、真实世界的云环境中保持理论最优性，同时提升实际性能？

主要发现

• 当使用超过 400 个工作节点时，AdaDelay 在 Criteo 和 CTR2 数据集上的测试 AUC 显著优于 AsyncAdaGrad，尤其在高延迟环境下表现更优。
• 当一半工作节点的处理速度降低 1 倍或 4 倍（引入慢启动者）时，AdaDelay 始终优于 AsyncAdaGrad，验证了延迟自适应学习率的优势。
• 由于高效的异步更新和减少的同步开销，AdaDelay 在 1 至 16 台机器（每台运行 100 个工作节点）的规模下实现了接近线性的加速。
• AdaDelay 的内存使用量与 AsyncAdaGrad 几乎相同（Criteo 上为 24GB，CTR2 上为 97GB），而 AdaptiveRevision 因需额外存储延迟梯度和特征级追踪信息，内存使用量翻倍。
• 该方法使初始学习率可设置得更大，且不损害收敛性，从而在存在可变延迟的情况下显著加速训练初期的进展。
• 实验结果证实，真实集群中实际的延迟分布与模型假设高度吻合，验证了延迟自适应方法的实用性。