[论文解读] Communication Complexity of Distributed Convex Learning and Optimization

Yossi Arjevani, Ohad Shamir|arXiv (Cornell University)|Jun 5, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用 82

一句话总结

本文为分布式凸优化建立了基本的通信复杂度下界，表明当局部函数彼此无关时，即使本地计算能力无限，仍需要大量通信轮次。论文证明了与现有加速方法相匹配的紧致下界，并识别出在局部函数具有统计相似性时可显著减少通信的条件。

ABSTRACT

We study the fundamental limits to communication-efficient distributed methods for convex learning and optimization, under different assumptions on the information available to individual machines, and the types of functions considered. We identify cases where existing algorithms are already worst-case optimal, as well as cases where room for further improvement is still possible. Among other things, our results indicate that without similarity between the local objective functions (due to statistical data similarity or otherwise) many communication rounds may be required, even if the machines have unbounded computational power.

研究动机与目标

• 在各种假设下，识别分布式凸优化中通信效率的根本限制。
• 确定现有分布式算法在最坏情况下的最优性。
• 分析机器间数据相似性对通信复杂度的影响。
• 推导实现给定精度所需通信轮次的紧致下界。
• 探讨光滑性、强凸性及结构假设对算法性能的影响。

提出的方法

• 使用信息论技术（特别是互信息和Pinsker不等式）推导通信复杂度下界。
• 引入参数δ以量化局部目标函数之间的相似性，从而统一分析相关与无关情形。
• 对算法施加结构假设，以确保下界具有意义且可推广。
• 采用具有对称性质的随机矩阵构造，生成用于下界分析的困难实例。
• 通过分析传输消息与局部函数参数之间的互信息，对算法精度进行约束。
• 将加速技术与Moreau近端平滑结合，提出非光滑情形下潜在最优算法的构想。

实验结果

研究问题

• RQ1 当局部函数彼此无关时，求解分布式凸优化所需的最少通信轮次是多少？
• RQ2 现有分布式算法能否在通信效率方面得到改进，还是它们已达到最坏情况下的最优？
• RQ3 局部数据之间的统计相似性（以δ量化）如何影响分布式优化的通信复杂度？
• RQ4 加速梯度方法在光滑且强凸函数情形下，是否在通信复杂度意义上最优？
• RQ5 当局部函数非光滑或非强凸时，通信效率的根本限制是什么？

主要发现

• 对于光滑且λ-强凸函数且局部目标无关的情形，通信复杂度为Ω(√(1/λ) log(1/ε))，该下界由加速梯度下降方法达到。
• 对于光滑凸函数且局部目标无关的情形，下界为Ω(√(1/ε))，该下界是紧致的，并由加速方法达到。
• 对于非光滑λ-强凸函数，下界为Ω(√(1/(λε)))，表明结合加速与近端平滑的最优算法具有潜力。
• 对于一般凸非光滑函数，下界为Ω(1/ε)，表明高精度需要大量通信轮次。
• 当局部函数相关（δ-相关）时，通信复杂度降至Ω(√(δ/λ) log(1/ε))，且该下界由二次函数情形下的DISCO算法（至多常数因子）匹配。
• 即使本地计算能力无限制，在无关情形下通信复杂度也无法低于这些下界，表明存在根本性限制。