[论文解读] Communication-Efficient Local Decentralized SGD Methods

Xiang Li, Wenhao Yang+2 more|arXiv (Cornell University)|Oct 21, 2019

Indoor and Outdoor Localization Technologies参考文献 56被引用 28

一句话总结

该论文提出LD-SGD，一种通信高效的局部去中心化随机梯度下降算法，通过允许在局部更新和去中心化SGD步骤之间灵活交替，推广了现有方法。该框架在非独立同分布数据下确保非凸问题收敛至临界点，并通过可变步长比和递减局部更新长度等自适应更新策略，实现更高的通信效率。

ABSTRACT

Recently, the technique of local updates is a powerful tool in centralized settings to improve communication efficiency via periodical communication. For decentralized settings, it is still unclear how to efficiently combine local updates and decentralized communication. In this work, we propose an algorithm named as LD-SGD, which incorporates arbitrary update schemes that alternate between multiple Local updates and multiple Decentralized SGDs, and provide an analytical framework for LD-SGD. Under the framework, we present a sufficient condition to guarantee the convergence. We show that LD-SGD converges to a critical point for a wide range of update schemes when the objective is non-convex and the training data are non-identically independent distributed. Moreover, our framework brings many insights into the design of update schemes for decentralized optimization. As examples, we specify two update schemes and show how they help improve communication efficiency. Specifically, the first scheme alternates the number of local and global update steps. From our analysis, the ratio of the number of local updates to that of decentralized SGD trades off communication and computation. The second scheme is to periodically shrink the length of local updates. We show that the decaying strategy helps improve communication efficiency both theoretically and empirically.

研究动机与目标

• 解决在非独立同分布数据下，去中心化优化中通信与计算之间的平衡挑战。
• 开发一种通用的算法框架，支持在局部更新与去中心化SGD步骤之间任意的更新模式。
• 为一般通信模式下的非凸优化提供理论收敛保证。
• 设计并分析可提升通信效率而不牺牲模型准确性的更新策略。
• 通过实证验证自适应策略（如动态局部更新长度和步长比控制）的有效性。

提出的方法

• 提出LD-SGD，一种元算法，通过交替执行I₁次局部更新和I₂次去中心化SGD步骤，实现灵活的通信模式。
• 引入一个理论框架，分析在一般更新策略下的收敛性，其条件基于网络图的谱特性推导得出。
• 在梯度和方差的温和假设下，证明LD-SGD可收敛至非凸目标函数的临界点，适用于非独立同分布数据。
• 分析局部计算（I₁）与通信（I₂）之间的权衡，表明更高的I₁/I₂比率会增加误差并降低测试准确率。
• 提出一种递减策略：周期性地将局部更新次数I₁减半，从而提升通信效率。
• 通过在CIFAR-10、CIFAR-100和PTB数据集上使用PyTorch和MPI4Py在多GPU环境下进行的实验，验证了理论结果。

实验结果

研究问题

• RQ1 能否构建一个统一框架，以支持在具有局部更新的去中心化SGD中任意的更新策略？
• RQ2 在非独立同分布数据下，LD-SGD收敛至非凸目标函数的临界点需要满足哪些条件？
• RQ3 局部更新与去中心化步骤的比率（I₁/I₂）如何影响收敛性和最终模型准确率？
• RQ4 对局部更新长度采用递减策略，能否在理论上和实证上均提升通信效率？
• RQ5 在通信成本和测试准确率方面，LD-SGD与现有方法（如PD-SGD和D-SGD）相比表现如何？

主要发现

• 在温和假设下，LD-SGD可收敛至非凸随机优化问题的临界点，适用于非独立同分布数据。
• 局部更新与去中心化步骤的比率（I₁/I₂）在通信与计算之间形成权衡，过高的比率会降低最终测试准确率。
• 所提出的I₁递减策略在理论上和实证上均提升了通信效率。
• 在CIFAR-10和CIFAR-100上的实验表明，LD-SGD在相同通信预算下，通过自适应更新策略实现了比基线方法更高的测试准确率。
• LD-SGD的残差误差界为O((1−ρ)/L)，优于先前工作的O((1−ρ)/(√n L))界，表明其具有更好的收敛稳定性。
• 在多GPU环境下，GPU间的通信反映了真实无线通信成本，LD-SGD在该类环境中展现出更显著的优势。