[论文解读] Communication/Computation Tradeoffs in Consensus-Based Distributed Optimization

Konstantinos I. Tsianos, Sean Lawlor+1 more|arXiv (Cornell University)|Sep 5, 2012

Distributed Control Multi-Agent Systems参考文献 17被引用 44

一句话总结

本文分析了在共识式分布式优化中通信与计算之间的权衡，引入了一个问题特定的参数 $ r $，用于量化通信成本与计算成本的比率。研究发现，最优性能并非通过最大化通信或处理器数量实现，而是通过平衡两者达成——令人惊讶的是，随着时间推移减少通信频率反而能加速收敛，理论预测与在真实集群上针对度量学习和非光滑凸问题的实验结果高度吻合。

ABSTRACT

We study the scalability of consensus-based distributed optimization algorithms by considering two questions: How many processors should we use for a given problem, and how often should they communicate when communication is not free? Central to our analysis is a problem-specific value $r$ which quantifies the communication/computation tradeoff. We show that organizing the communication among nodes as a $k$-regular expander graph (Reingold, Vadhan, and Wigderson, 2002) yields speedups, while when all pairs of nodes communicate (as in a complete graph), there is an optimal number of processors that depends on $r$. Surprisingly, a speedup can be obtained, in terms of the time to reach a fixed level of accuracy, by communicating less and less frequently as the computation progresses. Experiments on a real cluster solving metric learning and non-smooth convex minimization tasks demonstrate strong agreement between theory and practice.

研究动机与目标

• 理解当通信成本较高时，基于共识的分布式优化的可扩展性极限。
• 确定在最小化收敛时间的前提下，最优的处理器数量和通信频率。
• 通过一个与问题相关的参数 $ r $ 来量化通信/计算权衡。
• 通过真实集群上的实验验证理论预测。
• 探索稀疏化通信（例如每 $ h $ 次迭代通信一次）对收敛速度的影响。

提出的方法

• 提出一种通信/计算成本模型，其中每次迭代的成本由计算项和通信项组成，由参数 $ r $ 参数化。
• 采用分布式对偶平均（DDA）框架，将优化误差与网络引起的误差分离。
• 在不同网络拓扑下分析收敛性：完全图和 $ k $-正则扩展图。
• 推导出在完全图中最优处理器数量 $ n_{\text{opt}} = 1/\sqrt{r} $ 的理论边界，以及在扩展图中速度提升逐渐减弱的结论。
• 提出通过增加共识步骤之间的间隔 $ h $ 来稀疏化通信，其中 $ h_t = t^p $，$ p \in (0,1) $。
• 通过在真实集群上使用度量学习和非光滑凸最小化任务，针对不同 $ r $ 值进行实验，验证了结果。

实验结果

研究问题

• RQ1 当通信成本较高时，对于给定的分布式优化问题，最优的处理器数量是多少？
• RQ2 在基于共识的分布式优化中，通信频率如何影响收敛速度？
• RQ3 是否可以通过减少通信频率实现更快收敛？如果可以，其前提条件是什么？
• RQ4 通信/计算权衡参数 $ r $ 如何影响分布式优化算法的性能？
• RQ5 理论预测在实际集群上的真实性能中有多大的匹配程度？

主要发现

• 在完全图拓扑下，最优处理器数量为 $ n_{\text{opt}} = 1/\sqrt{r} $，实验结果证实了该预测，当 $ r \approx 0.0293 $ 时，$ n_{\text{opt}} = 6 $。
• 当 $ r $ 较小（例如 $ r = 0.005 $）时，将处理器数量增加至 $ n_{\text{opt}} = 14.15 $ 可实现近似线性加速，但超过该点后加速效果逐渐减弱。
• 通过设置 $ h = t^{0.3} $ 实现通信稀疏化，其收敛速度优于每次迭代都通信（即 $ h=1 $）的情况，即使总通信次数相同。
• 当通信过于稀疏（例如 $ h = t $）时，算法无法收敛，证实了在早期迭代中通信至关重要。
• 理论预测在度量学习和非光滑凸最小化任务中均与实验结果惊人地吻合。
• 使用 $ k $-正则扩展图时，随着网络规模增大，速度提升逐渐减弱，这与完全图中存在最优 $ n $ 的情况形成对比。