[论文解读] Anytime MiniBatch: Exploiting Stragglers in Online Distributed Optimization

Nuwan S. Ferdinand, Haider Al-Lawati+2 more|arXiv (Cornell University)|Jun 10, 2020

Stochastic Gradient Optimization Techniques被引用 26

一句话总结

本文提出 Anytime MiniBatch (AMB)，一种分布式在线优化方法，通过固定每轮的计算时间而非小批量大小，使快慢节点可差异化贡献计算，避免系统阻塞。通过利用慢速节点的部分工作并采用基于一致性机制的梯度平均，AMB 在高性能波动环境下相比固定小批量方法实现最高 5 倍的收敛速度提升，且达到最优遗憾收敛率 $\mathcal{O}(\sqrt{\bar{m}})$。

ABSTRACT

Distributed optimization is vital in solving large-scale machine learning problems. A widely-shared feature of distributed optimization techniques is the requirement that all nodes complete their assigned tasks in each computational epoch before the system can proceed to the next epoch. In such settings, slow nodes, called stragglers, can greatly slow progress. To mitigate the impact of stragglers, we propose an online distributed optimization method called Anytime Minibatch. In this approach, all nodes are given a fixed time to compute the gradients of as many data samples as possible. The result is a variable per-node minibatch size. Workers then get a fixed communication time to average their minibatch gradients via several rounds of consensus, which are then used to update primal variables via dual averaging. Anytime Minibatch prevents stragglers from holding up the system without wasting the work that stragglers can complete. We present a convergence analysis and analyze the wall time performance. Our numerical results show that our approach is up to 1.5 times faster in Amazon EC2 and it is up to five times faster when there is greater variability in compute node performance.

研究动机与目标

• 为解决分布式在线优化中因慢速节点导致的性能瓶颈，这些节点会延迟同步。
• 设计一种方法，利用慢速节点的部分工作而非丢弃，提升系统效率。
• 在异构计算环境中最小化实际运行时间的同时，实现最优遗憾收敛率 ($\mathcal{O}(\sqrt{\bar{m}})$)。
• 在真实云平台和 HPC 环境中，通过引入慢速节点效应，证明该方法相比固定小批量方法具有显著加速效果。

提出的方法

• 为每个工作节点固定每轮的计算时间 ($T$)，根据节点在该时间内可处理的样本数动态调整小批量大小。
• 计算完成后，所有工作节点执行固定通信时间 ($T_c$) 的一致性平均操作，对对偶变量进行梯度同步。
• 基于聚合的对偶信息使用对偶平均法更新原始变量，实现支持可变节点数据贡献的在线优化。
• 使用正态分布建模节点性能，引入时变计算延迟以在实验中模拟慢速节点。
• 在主从架构和全分布式拓扑中均应用该方法，重点研究基于梯度更新的随机凸优化问题。
• 通过在线遗憾分析并推导理论边界，证明在任意计算时间分布下，AMB 相较于固定小批量方法可实现 $\mathcal{O}(\sqrt{n-1})$ 的实际运行时间加速。

实验结果

研究问题

• RQ1 在存在慢速节点的情况下，通过固定计算时间而非小批量大小，是否可实现更快的实际运行时间收敛？
• RQ2 在真实云平台和 HPC 环境中，利用慢速节点的部分工作是否能带来可测量的性能提升？
• RQ3 Anytime 小批量方法的在线遗憾收敛速率在理论上如何？与固定小批量基线相比有何差异？
• RQ4 AMB 的实际运行时间加速效果如何随节点性能波动性的增加而变化？
• RQ5 该方法是否能在适应可变节点数据处理能力的同时，保持最优遗憾性能 ($\mathcal{O}(\sqrt{\bar{m}})$)？

主要发现

• 在中等慢速节点效应下的 Amazon EC2 环境中，AMB 相较于固定小批量（FMB）实现最高 1.5 倍的收敛速度提升。
• 在高性能波动较大的环境中，AMB 相较于 FMB 最快达 5 倍加速，在 HPC 平台上实现相同误差率仅需 2.45 秒，而 FMB 需 12.7 秒。
• AMB 的经验平均小批量大小约为 504，接近 FMB 的基准值 500，证实尽管节点速度不同，数据利用仍保持均衡。
• AMB 实现了最优的在线遗憾性能 $\mathcal{O}(\sqrt{\bar{m}})$，与基于梯度算法的理论下界一致。
• 理论分析表明，在任意计算时间分布下，AMB 相较于固定小批量方法可实现 $\mathcal{O}(\sqrt{n-1})$ 的实际运行时间加速。
• 计算时间与小批量大小的直方图显示，较快节点处理更多样本并完成更多轮次，而较慢节点虽仅贡献部分工作，但未阻塞系统。