[论文解读] FLIX: A Simple and Communication-Efficient Alternative to Local Methods in Federated Learning

Elnur Gasanov, Ahmed Khaled+2 more|arXiv (Cornell University)|Nov 22, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

FLIX 提出了一种通信高效的联邦学习框架，该框架通过使用客户端特定的个性化参数替换本地更新，采用一种新颖的有限和优化公式。通过利用本地计算的模型状态和智能初始化，FLIX 在保持标准分布式优化和自适应通信控制的同时，实现了与本地方法相当的性能，该结论已在多种数据集上通过大量实验得到验证。

ABSTRACT

Federated Learning (FL) is an increasingly popular machine learning paradigm in which multiple nodes try to collaboratively learn under privacy, communication and multiple heterogeneity constraints. A persistent problem in federated learning is that it is not clear what the optimization objective should be: the standard average risk minimization of supervised learning is inadequate in handling several major constraints specific to federated learning, such as communication adaptivity and personalization control. We identify several key desiderata in frameworks for federated learning and introduce a new framework, FLIX, that takes into account the unique challenges brought by federated learning. FLIX has a standard finite-sum form, which enables practitioners to tap into the immense wealth of existing (potentially non-local) methods for distributed optimization. Through a smart initialization that does not require any communication, FLIX does not require the use of local steps but is still provably capable of performing dissimilarity regularization on par with local methods. We give several algorithms for solving the FLIX formulation efficiently under communication constraints. Finally, we corroborate our theoretical results with extensive experimentation.

研究动机与目标

• 解决标准联邦学习的局限性，即平均风险最小化在处理通信约束和个人化需求方面表现不佳。
• 开发一种灵活的优化框架，同时支持通信效率和客户端特定的模型个性化。
• 使现有非本地分布式优化方法能够在联邦设置中使用，而无需依赖本地步骤。
• 在标准光滑性和凸性假设下，为收敛性提供理论保证。
• 在异构数据设置下，通过实证比较证明其优于本地方法和元学习基线方法。

提出的方法

• 将联邦学习表述为一个有限和问题：$\tilde{f}(x) = \frac{1}{n}\sum_{i=1}^{n} f_i(\alpha_i x + (1 - \alpha_i)x_i)$，其中 $x_i$ 是客户端 $i$ 损失函数的局部最小值。
• 使用 $\alpha_i \in [0,1]$ 作为可调的个性化参数，以控制全局模型和本地模型在每个客户端最终模型中的影响程度。
• 在本地计算 $x_i$ 而无需通信，从而实现通信高效的初始化。
• 将最终模型部署在客户端 $i$ 上为 $T_i(x_*) = \alpha_i x_* + (1 - \alpha_i)x_i$，以支持个性化泛化。
• 在通信约束下，应用标准分布式优化方法（例如 GD、CGD、DIANA）求解 FLIX 的公式。
• 通过在变换后的 $\tilde{f}$ 中保持原始 $f_i$ 的光滑性和凸性，确保理论收敛性保证。

实验结果

研究问题

• RQ1 能否设计一种联邦学习框架，在避免本地更新的同时，性能与本地方法相当？
• RQ2 如何在联邦学习中联合优化通信效率与个性化？
• RQ3 标准分布式优化方法能否有效应用于 FL 中的新有限和公式？
• RQ4 个性化参数 $\alpha_i$ 在异构数据设置下的收敛性和泛化性方面有何影响？
• RQ5 在通信成本和测试准确率方面，FLIX 与 FedAvg、FOMAML 和 Reptile 相比如何？

主要发现

• FLIX 在无需任何本地优化步骤的情况下，实现了与本地方法相当的泛化性能。
• 该框架实现了通信高效的训练：当 $\alpha_i = 0$ 时，无需通信即可将最终模型部署在客户端 $i$ 上。
• 网格搜索结果表明，较小的 $\alpha_i$ 值需要更大的步长才能实现最优泛化，这与理论收敛性分析一致。
• 在 EMNIST 和 Shakespeare 数据集上，当 $\alpha = 0.3$ 和 $\alpha = 0.5$ 时，FLIX 在所有对比方法中取得了最高的测试准确率。
• 在逻辑回归实验中，FLIX 在通信成本方面优于 GD 和 DIANA，尤其是在以浮点运算次数衡量时表现更优。
• 理论分析证实，$f_i$ 的光滑性和凸性在 $\tilde{f}$ 中得以保持，从而支持使用标准优化方法实现快速收敛。