[论文解读] Federated Optimization in Heterogeneous Networks

Li Tian, Anit Kumar Sahu+4 more|arXiv (Cornell University)|Dec 14, 2018

Privacy-Preserving Technologies in Data参考文献 44被引用 451

一句话总结

FedProx 将 FedAvg 推广以同时处理联邦学习中的系统异质性和统计异质性，通过引入一个近端项并允许局部更新变量，实现收敛保证并在经验上表现鲁棒。

ABSTRACT

Federated Learning is a distributed learning paradigm with two key challenges that differentiate it from traditional distributed optimization: (1) significant variability in terms of the systems characteristics on each device in the network (systems heterogeneity), and (2) non-identically distributed data across the network (statistical heterogeneity). In this work, we introduce a framework, FedProx, to tackle heterogeneity in federated networks. FedProx can be viewed as a generalization and re-parametrization of FedAvg, the current state-of-the-art method for federated learning. While this re-parameterization makes only minor modifications to the method itself, these modifications have important ramifications both in theory and in practice. Theoretically, we provide convergence guarantees for our framework when learning over data from non-identical distributions (statistical heterogeneity), and while adhering to device-level systems constraints by allowing each participating device to perform a variable amount of work (systems heterogeneity). Practically, we demonstrate that FedProx allows for more robust convergence than FedAvg across a suite of realistic federated datasets. In particular, in highly heterogeneous settings, FedProx demonstrates significantly more stable and accurate convergence behavior relative to FedAvg---improving absolute test accuracy by 22% on average.

研究动机与目标

• 在系统和统计异质性下为联邦学习提供动机。
• 引入 FedProx 作为带近端项的 FedAvg 的推广。
• 在非独立同分布数据和部分设备参与下提供收敛性保证。
• 在异质性设置中展示实用的鲁棒性和改进的准确性。

提出的方法

• 将 FedProx 视为对 FedAvg 的推广，允许设备间存在可变的本地工作量。
• 在局部子问题中加入近端项：h_k(w; w^t) = F_k(w) + (μ/2)||w - w^t||^2。
• 引入并利用 γ_k^t 不精确性来建模具有不同准确性的局部求解近似。
• 定义 B-局部不相似性以量化设备之间的统计异质性。
• 在有界不相似性和非 IID 数据下证明收敛性保证。
• 表明 FedProx 能降低对落后设备的敏感性并提高稳定性。

实验结果

研究问题

• RQ1 异质性（系统和数据双重）如何影响联邦优化的收敛性？
• RQ2 是否可以通过近端项和可变本地工作量在非 IID 数据和部分设备参与条件下实现可证明的收敛？
• RQ3 在具有异质设备的情况下，确保 FedProx 具有足够下降的理论条件是什么？
• RQ4 在现实性异质性下，FedProx 与 FedAvg 在鲁棒性和准确性方面有何比较？

主要发现

• FedProx 在高度异质性设置中提高了稳定性和准确性，测试准确度平均提升约 22%。
• 近端项有助于控制可变本地更新的影响，并在异质性下支持收敛。
• 在有界不相似性的前提下，对非凸本地目标给出收敛性保证。
• 该框架允许局部工作量的可变性，并仍然保证每轮的下降。
• FedProx 推广了 FedAvg，其在 μ = 0 且 γ 均匀时可作为特例被回收。
• 在合成与真实的联邦数据集上，实证结果验证对落后设备和统计异质性的鲁棒性。