[论文解读] Refined Convergence and Topology Learning for Decentralized SGD with Heterogeneous Data

Batiste Le Bars, Aurélien Bellet+3 more|arXiv (Cornell University)|Apr 9, 2022

Stochastic Gradient Optimization Techniques参考文献 49被引用 6

一句话总结

本文将邻域异质性引入为在数据异质性条件下影响 D-SGD 收敛的关键因素，提出一种基于 Frank-Wolfe 优化的、数据依赖的拓扑学习方法，以最小化该量。该方法通过构建稀疏、自适应的拓扑结构，在偏差与混合性之间实现平衡，从而在合成数据和真实世界实验中均优于随机和固定拓扑，实现更快的收敛速度与更低的通信成本。

ABSTRACT

One of the key challenges in decentralized and federated learning is to design algorithms that efficiently deal with highly heterogeneous data distributions across agents. In this paper, we revisit the analysis of the popular Decentralized Stochastic Gradient Descent algorithm (D-SGD) under data heterogeneity. We exhibit the key role played by a new quantity, called neighborhood heterogeneity, on the convergence rate of D-SGD. By coupling the communication topology and the heterogeneity, our analysis sheds light on the poorly understood interplay between these two concepts. We then argue that neighborhood heterogeneity provides a natural criterion to learn data-dependent topologies that reduce (and can even eliminate) the otherwise detrimental effect of data heterogeneity on the convergence time of D-SGD. For the important case of classification with label skew, we formulate the problem of learning such a good topology as a tractable optimization problem that we solve with a Frank-Wolfe algorithm. As illustrated over a set of simulated and real-world experiments, our approach provides a principled way to design a sparse topology that balances the convergence speed and the per-iteration communication costs of D-SGD under data heterogeneity.

研究动机与目标

• 为解决去中心化 SGD 中的数据异质性问题，尽管其谱隙性质良好，但收敛性能仍会下降。
• 识别并形式化邻域异质性作为 D-SGD 收敛速度的新型理论驱动因素。
• 设计一种拓扑学习方法，在控制通信成本的前提下最小化邻域异质性，通过稀疏性实现。
• 为去中心化学习提供一种有原则的、数据依赖的替代方案，以替代固定或随机拓扑。
• 通过实证验证，所学习的拓扑在标签偏移及其他异质性模式下可提升收敛速度与泛化性能。

提出的方法

• 引入邻域异质性作为新度量，用于衡量全局梯度与局部邻域聚合梯度之间期望偏差的大小。
• 将拓扑学习问题重新表述为一个在度约束下最小化邻域异质性的可处理优化任务。
• 采用 Frank-Wolfe 算法，通过逐步添加最能降低邻域异质性的边，贪婪地构建稀疏拓扑。
• 使用带有超参数 λ 的偏差-方差权衡目标函数，以平衡学习过程中的收敛偏差与方差。
• 将该方法应用于标签偏移下的分类任务，其中各节点上的数据分布高度非独立同分布。
• 通过约束所学拓扑的最大度 d_max 来控制每轮迭代的通信成本。

实验结果

研究问题

• RQ1 在数据异质性条件下，邻域异质性如何影响去中心化 SGD 的收敛速度？
• RQ2 能否学习一种数据依赖的通信拓扑，以减轻数据异质性对 D-SGD 收敛的负面影响？
• RQ3 在有界最大度的稀疏拓扑下，其收敛速度在多大程度上可与全连接网络相匹配？
• RQ4 基于 Frank-Wolfe 的拓扑学习方法在收敛速度与通信成本方面，相较于随机或固定拓扑表现如何？
• RQ5 超参数 λ 和 d_max 对所学拓扑性能的影响如何？

主要发现

• 与随机 d-正则图相比，所提出的 STL-FW 拓扑将邻域异质性降低了高达 99%，尤其在高标签偏移情况下表现显著。
• 当 d_max = 10 时，STL-FW 拓扑的收敛速度与全连接图相当，同时保持了较低的通信成本。
• 在 CIFAR10 上，当 d_max = 10 时，该方法实现了接近零的偏差（0.001 ± 0.001），显著优于 D-Cliques 和随机拓扑。
• 超参数 λ 对收敛速度影响极小，允许使用默认值（如 λ = 0.1）而无需调参。
• 拓扑中前 10 条边对性能提升贡献最大，当 d_max > 10 后收益递减。
• STL-FW 拓扑保持了良好的混合特性（低 1−p），避免了如 D-Cliques 等基于团的拓扑所存在的混合性能差的问题。