[论文解读] Communication-Efficient ADMM-based Federated Learning

Shenglong Zhou, Geoffrey Ye Li|arXiv (Cornell University)|Oct 28, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用 16

一句话总结

本文提出CEADMM与ICEADMM，两种基于ADMM的通信高效联邦学习算法，通过在全局聚合之间执行多次本地更新以减少通信轮次。两种方法在温和条件下均实现线性收敛——无需假设数据独立同分布或强凸性——而ICEADMM通过采用近似更新进一步降低计算成本，同时保持模型精度。

ABSTRACT

Federated learning has shown its advances over the last few years but is facing many challenges, such as how algorithms save communication resources, how they reduce computational costs, and whether they converge. To address these issues, this paper proposes exact and inexact ADMM-based federated learning. They are not only communication-efficient but also converge linearly under very mild conditions, such as convexity-free and irrelevance to data distributions. Moreover, the inexact version has low computational complexity, thereby alleviating the computational burdens significantly.

研究动机与目标

• 通过减少全局聚合轮次，解决联邦学习中高通信开销的挑战。
• 在保持模型精度的同时，降低联邦学习中的计算复杂度。
• 在最小假设下（如无需凸性或数据分布独立性）建立全局线性收敛速率。
• 开发一种近似变体，加速训练过程而不影响收敛性或精度。

提出的方法

• 提出CEADMM，一种基于精确ADMM的联邦学习算法，在连续的全局聚合之间执行$k_0$轮本地迭代，以减少通信轮次。
• 设计ICEADMM，一种近似变体，通过近似ADMM中的子问题解，显著降低每轮迭代的计算成本。
• 引入线性化近似ADMM框架，提升大规模去中心化学习场景下的可扩展性与效率。
• 采用对偶分解方法，使本地客户端同时更新原始变量与对偶变量，中央服务器定期聚合结果。
• 将优化问题表述为一致性形式，支持分布式计算，同时保持收敛性保证。
• 利用标准联邦学习与线性化近似ADMM之间的关系，证明联邦学习是所提框架的一个特例。

实验结果

研究问题

• RQ1 基于ADMM的联邦学习能否在不假设数据独立同分布或强凸性的情况下实现线性收敛？
• RQ2 在全局聚合之间增加本地迭代次数（$k_0$）如何影响通信效率与收敛性？
• RQ3 ADMM中的近似更新能否在不降低收敛性或模型精度的前提下减少计算成本？
• RQ4 在基于ADMM的联邦学习中，通信效率、计算成本与收敛速度之间存在何种权衡？

主要发现

• CEADMM在温和条件下（包括无需凸性与数据分布独立性）可实现对驻点的线性收敛。
• 增加$k_0$可减少通信轮次——例如，当$k_0 = 20$时，ICEADMM将30个客户端的全局聚合次数从约118轮（IADMM）减少至约20轮。
• ICEADMM在通过近似子问题解降低每轮迭代计算时间的同时，保持与CEADMM相同的收敛精度。
• 对于相同的$k_0$，ICEADMM所需迭代次数多于CEADMM（例如，$k_0=10$时为240 vs. 100轮），但由于每轮计算成本更低，整体训练速度仍更快。
• CEADMM的收敛速率为$O(k_0/k)$，表明更大的$k_0$虽减缓每轮迭代的收敛速度，但可大幅降低通信成本。
• 实验结果表明，更高的$m$（客户端数量）可减少达到收敛所需的迭代次数，提升可扩展性。