[论文解读] FedHybrid: A Hybrid Primal-Dual Algorithm Framework for Federated Optimization

Xiaochun Niu, Ermin Wei|arXiv (Cornell University)|Jun 2, 2021

Distributed Control Multi-Agent Systems参考文献 22被引用 4

一句话总结

FedHybrid 提出了一种用于联邦优化的新型混合原始-对偶算法框架，使计算能力各异的异构客户端能够根据自身能力独立选择梯度型或牛顿型更新。该方法在强凸函数下实现线性收敛，且在某些客户端使用二阶信息时，性能优于 FedAvg 等基线方法。

ABSTRACT

We consider a multi-agent consensus optimization problem over a server-client (federated) network, where all clients are connected to a central server. Current distributed algorithms fail to capture the heterogeneity in clients' local computation capacities. Motivated by the generalized Method of Multipliers in centralized optimization, we derive an approximate Newton-type primal-dual method with a practical distributed implementation by utilizing the server-client topology. Then we propose a new primal-dual algorithm framework FedHybrid that allows different clients to perform various types of updates. Specifically, each client can choose to perform either gradient-type or Newton-type updates. We propose a novel analysis framework for primal-dual methods and obtain a linear convergence rate of FedHybrid for strongly convex functions, regardless of clients' choices of gradient-type or Newton-type updates. Numerical studies are provided to demonstrate the efficacy of our method in practice. To the best of our knowledge, this is the first hybrid algorithmic framework allowing heterogeneous local updates for distributed consensus optimization with a provable convergence and rate guarantee.

研究动机与目标

• 为解决联邦学习中缺乏灵活且可证明收敛的算法问题，以适应计算能力各异的客户端。
• 开发一种分布式原始-对偶方法，将一阶与二阶更新统一整合于同一框架中。
• 为所提出的混合框架提供理论收敛保证——具体而言，在强凸性条件下实现线性（Q-线性）收敛。
• 通过在合成数据集和真实世界数据集上进行数值实验，验证方法的实际有效性，数据分区为非独立同分布（non-IID）设置。

提出的方法

• 该框架基于广义的乘子法（Method of Multipliers），通过使用对偶和原始 Hessian 的分布式近似，实现牛顿型更新。
• 客户端可根据其计算资源，选择使用梯度型或牛顿型本地更新。
• 服务器通过使用共识约束矩阵 $ W $ 强制各客户端之间满足 $ x_0 = x_i $，实现一致性协调。
• 提出了一套新颖的分析框架，以证明无论客户端选择何种更新类型，最终迭代值均可实现线性收敛。
• 算法使用惩罚参数 $ \rho $ 平衡对偶与原始更新，确保稳定性与收敛性。
• 该方法采用服务器-客户端拓扑结构，服务器负责聚合与协调更新，无需交换原始数据。

实验结果

研究问题

• RQ1 联邦优化框架能否在支持异构客户端使用混合一阶与二阶更新类型的同时，保持收敛性？
• RQ2 当客户端独立选择使用梯度更新或牛顿更新时，混合原始-对偶算法的收敛速率如何？
• RQ3 在非独立同分布（non-IID）设置下，引入牛顿型更新相较于纯一阶方法，对收敛速度有何影响？
• RQ4 能否设计一种可证明收敛的联邦一致性优化算法，以分布式方式利用二阶信息？

主要发现

• FedHybrid 在强凸函数下实现线性（Q-线性）收敛，无论客户端使用梯度型还是牛顿型更新。
• 该方法在收敛速度上优于 FedAvg，尤其当部分客户端执行牛顿型更新时优势更明显。
• 当所有客户端均使用牛顿型更新（即 FedH-N 变体）时，收敛性能与 DiSCO（一种先进的二阶方法）相当。
• 增加使用牛顿型更新的客户端数量可显著提升整体收敛速度，表明该混合方法具备良好的可扩展性。
• 在合成数据集和真实数据集（波士顿房价、蘑菇数据集）上的数值实验结果证实，该方法在非独立同分布数据分区下具有优异的有效性。