[论文解读] Fine-tuning is Fine in Federated Learning

Gary Cheng, Karan N. Chadha+1 more|arXiv (Cornell University)|Aug 16, 2021

Privacy-Preserving Technologies in Data参考文献 12被引用 13

一句话总结

本文提出了微调联邦平均（FTFA）及其岭正则化变体RTFA，作为复杂元学习和近端正则化联邦学习方法的简单、高效替代方案。在高维渐近框架下，FTFA与RTFA在性能上可与最先进方法相媲美，同时展现出更优的计算效率和更简洁的概念设计，其有效性已在EMNIST、CIFAR-100、Shakespeare和Stack Overflow联邦数据集上得到验证。

ABSTRACT

We study the performance of federated learning algorithms and their variants in an asymptotic framework. Our starting point is the formulation of federated learning as a multi-criterion objective, where the goal is to minimize each client's loss using information from all of the clients. We propose a linear regression model, where, for a given client, we theoretically compare the performance of various algorithms in the high-dimensional asymptotic limit. This asymptotic multi-criterion approach naturally models the high-dimensional, many-device nature of federated learning and suggests that personalization is central to federated learning. Our theory suggests that Fine-tuned Federated Averaging (FTFA), i.e., Federated Averaging followed by local training, and the ridge regularized variant Ridge-tuned Federated Averaging (RTFA) are competitive with more sophisticated meta-learning and proximal-regularized approaches. In addition to being conceptually simpler, FTFA and RTFA are computationally more efficient than its competitors. We corroborate our theoretical claims with extensive experiments on federated versions of the EMNIST, CIFAR-100, Shakespeare, and Stack Overflow datasets.

研究动机与目标

• 分析在客户端个性化至关重要的高维、多设备渐近设置下的联邦学习。
• 在多准则优化框架下评估联邦学习算法的性能，该框架通过利用全局客户端信息来最小化每个客户端的损失。
• 评估在联邦平均后进行简单微调是否能与更复杂的元学习和近端正则化方法相匹配或超越。
• 为FTFA与RTFA在个性化联邦学习中的有效性提供理论与实证依据。

提出的方法

• 将联邦学习形式化为多准则优化问题，利用所有客户端的信息来最小化每个客户端的损失。
• 在高维渐近极限下建立线性回归模型，以理论比较不同客户端间算法的性能。
• 提出微调联邦平均（FTFA），在标准联邦平均后应用本地微调，以提升客户端特定性能。
• 引入岭正则化联邦平均（RTFA），作为FTFA的正则化变体，通过添加岭惩罚项以增强泛化能力。
• 通过理论分析表明，在渐近框架下，FTFA与RTFA在性能上可与元学习和近端正则化方法相媲美。
• 使用EMNIST、CIFAR-100、Shakespeare和Stack Overflow的联邦版本数据集对结果进行实证验证。

实验结果

研究问题

• RQ1 在联邦学习中，联邦平均后的微调是否能实现与先进元学习和近端正则化方法相当的性能？
• RQ2 在高维、个性化联邦学习设置下，FTFA与RTFA的性能与最先进方法相比如何？
• RQ3 在渐近、多客户端、高维设置下，FTFA与RTFA有效性的理论依据是什么？
• RQ4 像FTFA这样简单且计算高效的算法，是否能在个性化联邦学习中超越更复杂的算法？

主要发现

• 在高维渐近框架下，FTFA与RTFA在性能上可与更复杂的元学习和近端正则化方法相媲美。
• 理论分析表明，在高维、多设备设置下，个性化在联邦学习中具有内在核心地位。
• 由于训练过程更简单，FTFA与RTFA在计算效率上优于元学习和近端正则化基线方法。
• 在EMNIST、CIFAR-100、Shakespeare和Stack Overflow上的实证结果表明，FTFA与RTFA在多样化联邦学习基准上均保持了强劲性能。
• 岭正则化变体RTFA在每个客户端数据有限的高维设置下，显著提升了泛化能力与稳定性。
• 理论分析与实证验证的结合，支持将FTFA与RTFA作为现实世界联邦学习中实用、高效且有效的替代方案。