[论文解读] Global Update Tracking: A Decentralized Learning Algorithm for Heterogeneous Data

Sai Aparna Aketi, Abolfazl Hashemi+1 more|arXiv (Cornell University)|May 8, 2023

Human Mobility and Location-Based Analysis被引用 4

一句话总结

本文提出全局更新追踪（GUT），一种新颖的去中心化学习算法，可在不增加通信开销的前提下缓解异构数据分布导致的性能下降。通过追踪模型参数更新而非梯度，GUT在非独立同分布（non-IID）数据设置下，于CIFAR-10、CIFAR-100、Fashion MNIST和ImageNette数据集上实现了相比现有方法1–6%的测试准确率提升。

ABSTRACT

Decentralized learning enables the training of deep learning models over large distributed datasets generated at different locations, without the need for a central server. However, in practical scenarios, the data distribution across these devices can be significantly different, leading to a degradation in model performance. In this paper, we focus on designing a decentralized learning algorithm that is less susceptible to variations in data distribution across devices. We propose Global Update Tracking (GUT), a novel tracking-based method that aims to mitigate the impact of heterogeneous data in decentralized learning without introducing any communication overhead. We demonstrate the effectiveness of the proposed technique through an exhaustive set of experiments on various Computer Vision datasets (CIFAR-10, CIFAR-100, Fashion MNIST, and ImageNette), model architectures, and network topologies. Our experiments show that the proposed method achieves state-of-the-art performance for decentralized learning on heterogeneous data via a $1-6\%$ improvement in test accuracy compared to other existing techniques.

研究动机与目标

• 解决设备间非独立同分布（异构）数据分布导致的去中心化学习性能下降问题。
• 开发一种基于追踪的方法，在不增加通信成本的前提下提升模型收敛性和准确率。
• 克服现有基于梯度追踪或动量的方法带来的2倍通信开销的局限性。
• 在保持隐私和可扩展性的前提下，实现在真实世界数据异构性下的有效去中心化训练。
• 在非独立同分布条件下，实现与当前最先进集中式和去中心化算法相当的收敛速度。

提出的方法

• 提出全局更新追踪（GUT），通过追踪模型参数更新的共识而非梯度，将通信量减少至仅追踪变量。
• 每个代理存储邻居模型参数的本地副本，并通过计算差值（x_i^t - x_i^{t-1}）来追踪全局更新。
• 该算法使用一个追踪变量 y_i^t，通过本地平均和梯度下降进行更新，实现在不传输完整模型参数的前提下对模型更新达成共识。
• 引入准全局动量变体 QG-GUTm，无需通信成本即可模拟全局动量同步，提升收敛稳定性。
• 采用缩放因子 μ 控制更新幅度，根据数据集和拓扑结构进行调优，以平衡收敛性与性能。
• 理论分析建立了对一阶解的非渐近收敛速率，与当前最先进去中心化算法相当。

实验结果

研究问题

• RQ1 追踪机制是否能在不增加通信开销的前提下提升异构数据下的去中心化学习性能？
• RQ2 在去中心化设置中，追踪模型参数更新而非梯度对收敛性和准确率有何影响？
• RQ3 准全局动量机制是否能以去中心化、无通信的方式有效实现，以缓解数据异构性？
• RQ4 在不同数据非独立同分布程度下，GUT 与 DSGDm、QG-DSGDm 和 D² 等现有方法相比，在测试准确率和收敛性方面表现如何？
• RQ5 不同网络拓扑结构和模型架构对 GUT 及其变体性能有何影响？

主要发现

• 在 ResNet-20 模型下，CIFAR-10 数据集上 α=0.01（高异构性）时，QG-GUTm 实现 81.04% ± 1.66 的测试准确率，较 QG-DSGDm 提升 1.19%。
• 在 16 个代理的环形拓扑下使用 ResNet-20，QG-GUTm 在 α=1 时达到 88.22% ± 0.36 的准确率，超过 DSGDm（86.60%）和 GUT（84.72%）。
• 在 CIFAR-100 上使用 ResNet-20，QG-GUTm 在 α=0.1 时达到 83.05% ± 0.48，较 DSGDm 的 74.20% ± 1.89 提升 8.85%。
• GUT 本身在 CIFAR-10 上 α=0.01 时达到 70.16% ± 4.94，优于 DSGDm（65.62%）甚至动量变体 DSGDm-N（63.66%）。
• 在 QG-GUTm-N 中使用 Nesterov 动量在高异构性（α=0.01）下导致性能下降，表明准全局动量在非独立同分布环境下比标准动量更有效。
• 在 VGG-11 和 MobileNet-V2 上的实验表明，跨架构性能提升一致，QG-GUTm 在 α=1 时于 VGG-11 上达到 84.46% ± 0.33，优于 DSGDm 的 81.77%。