[论文解读] Artemis: tight convergence guarantees for bidirectional compression in Federated Learning.

Constantin Philippenko, Aymeric Dieuleveut|arXiv (Cornell University)|Jun 25, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用 17

一句话总结

Artemis 提出了一种用于联邦学习的双向压缩算法，通过使用记忆机制对工作者到服务器以及服务器到工作者的通信进行压缩，在弱假设下实现了线性收敛速率，并在部分参与的非独立同分布设置中提供了紧密的理论保证。

ABSTRACT

We introduce a new algorithm - Artemis - tackling the problem of learning in a distributed framework with communication constraints. Several workers (randomly sampled) perform the optimization process using a central server to aggregate their computation. To alleviate the communication cost, Artemis compresses the information sent in both directions (from the workers to the server and conversely) combined with a memory mechanism. It improves on existing quantized federated learning algorithms that only consider unidirectional compression (to the server), or use very strong assumptions on the compression operator, and often do not take into account devices partial participation. We provide fast rates of convergence (linear up to a threshold) under weak assumptions on the stochastic gradients (noise's variance bounded only at optimal point) in non-i.i.d. setting, highlight the impact of memory for unidirectional and bidirectional compression, analyze Polyak-Ruppert averaging. We use convergence in distribution to obtain a lower bound of the asymptotic variance that highlights practical limits of compression. And we provide experimental results to demonstrate the validity of our analysis.

研究动机与目标

• 通过实现高效的双向压缩来解决联邦学习中的通信瓶颈。
• 在非独立同分布数据设置下，通过部分工作者参与改善收敛速率。
• 在对梯度噪声假设较弱的条件下，提供理论收敛保证。
• 分析记忆机制在单向与双向压缩中的作用。
• 通过收敛到分布来推导渐近方差界，揭示压缩的实际极限。

提出的方法

• Artemis 采用双向压缩，对从工作者到服务器以及从服务器到工作者的梯度进行压缩。
• 引入记忆机制以存储并重用压缩误差，提升收敛效率。
• 使用 Polyak-Ruppert 平均化方法增强稳定性和收敛性。
• 通过收敛到分布分析来推导渐近方差的下界。
• 理论分析仅假设在最优点处随机梯度具有有界方差，而非全局有界。
• 该框架支持工作者的部分参与，反映现实的联邦学习场景。

实验结果

研究问题

• RQ1 在弱假设下，带有记忆的双向压缩如何改善联邦学习中的收敛性？
• RQ2 记忆机制对单向与双向压缩中收敛性的影响如何？
• RQ3 部分工作者参与如何影响双向压缩下的收敛性？
• RQ4 从渐近方差的角度来看，压缩的实际极限是什么？
• RQ5 Polyak-Ruppert 平均化与收敛到分布分析如何影响理论边界？

主要发现

• Artemis 在弱假设下可实现线性收敛速率，直至某一阈值，具体为仅在最优点处梯度噪声方差有界。
• 记忆机制在单向与双向压缩设置中均显著提升了收敛性能。
• 通过收敛到分布的分析揭示了渐近方差的下界，暴露了联邦学习中压缩的固有极限。
• 与单向压缩相比，双向压缩在收敛速度和稳定性方面表现更优。
• 实验结果验证了理论分析，展示了所提算法的实际有效性。
• 该方法在部分参与条件下仍保持强劲性能，反映了现实世界联邦学习的条件。