[论文解读] FedADMM: A Federated Primal-Dual Algorithm Allowing Partial Participation

Han Wang, Siddartha Marella+1 more|arXiv (Cornell University)|Mar 28, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

FedADMM 是一种新颖的联邦原始-对偶算法，可在非凸复合优化中实现部分参与，扩展了 FedPD 以支持灵活的客户端参与，同时保持收敛性。其通信复杂度为 $Ó(\varepsilon^{-2})$，并被证明与 FedDR 等价，确保在一般采样模型下对统计异构性和系统异构性的鲁棒性，并具备理论收敛保证。

ABSTRACT

Federated learning is a framework for distributed optimization that places emphasis on communication efficiency. In particular, it follows a client-server broadcast model and is particularly appealing because of its ability to accommodate heterogeneity in client compute and storage resources, non-i.i.d. data assumptions, and data privacy. Our contribution is to offer a new federated learning algorithm, FedADMM, for solving non-convex composite optimization problems with non-smooth regularizers. We prove converges of FedADMM for the case when not all clients are able to participate in a given communication round under a very general sampling model.

研究动机与目标

• 为解决联邦学习中因慢速客户端或连接不可靠而导致的部分客户端参与问题。
• 设计一种原始-对偶算法，支持具有非光滑正则化的非凸复合优化问题，从而比现有方法具有更广泛的应用范围。
• 扩展 FedPD（要求完全参与）以支持部分参与，同时保持收敛性和性能。
• 建立 FedADMM 与 FedDR 之间的理论等价性，实现共享的收敛性分析与算法洞察。
• 在一般采样模型下提供收敛保证，包括非独立同分布数据和不平衡的客户端参与。

提出的方法

• 通过将非凸 Douglas-Rachford 分裂（DRS）的对偶形式应用于联邦优化问题，推导出 FedADMM，利用已知的 DRS 与 ADMM 之间的等价性。
• 该算法采用客户端-服务器架构，每轮仅部分客户端参与，服务器通过对偶一致性机制聚合更新。
• 对非光滑正则化项使用近端算子，并允许局部求解不精确，类似于 FedProx 和 FedPD，从而提升实用性。
• 采用统一采样方案选择客户端，并通过维护对偶变量来实现客户端间的一致性。
• 关键组件包括对偶变量更新、通过本地优化进行的原始变量更新，以及服务器端的全局一致性步骤。
• 通过在 FedDR 与 FedADMM 迭代之间建立一对一且满射的映射，使该算法能够继承 FedDR 的收敛性质。

实验结果

研究问题

• RQ1 能否设计一种原始-对偶联邦算法，实现部分客户端参与，同时在非凸复合问题中保持收敛性？
• RQ2 FedADMM 与 FedDR 和 FedPD 在算法结构和收敛行为方面有何关系？
• RQ3 在部分参与条件下，FedADMM 的通信复杂度是多少，是否达到已知的下界？
• RQ4 FedADMM 能否处理非光滑正则化项和约束，从而超越 FedPD 的适用范围？
• RQ5 当客户端部分参与时，FedADMM 是否能达到与 FedDR 相同的收敛速率？

主要发现

• FedADMM 达到 $Ó(\varepsilon^{-2})$ 的通信复杂度，以达到 $µ$-平稳解，与非凸联邦优化的已知下界一致。
• FedADMM 在理论上与 FedDR 等价，其迭代之间存在一对一且满射的映射，确保完全相同的收敛行为。
• 当 $g \equiv 0$ 时，FedADMM 退化为 FedPD，但支持部分参与，从而克服了 FedPD 的一个关键局限。
• 该算法在一般采样模型下仍保持收敛，包括非独立同分布数据和不平衡的客户端参与。
• 在合成数据集和 FEMNIST 数据集上的数值模拟结果表明，FedADMM 与 FedDR 在训练准确率和损失上完全一致，验证了理论等价性。
• 即使局部近端算子求解不精确，收敛保证依然成立，显著增强了实际鲁棒性。