[论文解读] Federated Multi-Task Learning under a Mixture of Distributions

Othmane Marfoq, Giovanni Neglia+3 more|arXiv (Cornell University)|Aug 23, 2021

Privacy-Preserving Technologies in Data参考文献 67被引用 79

一句话总结

本文介绍了 FedEM 和 D-FedEM，这些是面向个性化多任务学习的联邦 EM 风格算法，基于混合分布假设，具有收敛性保证并提供相较于现有方法在准确性和公平性方面的改进证据。

ABSTRACT

The increasing size of data generated by smartphones and IoT devices motivated the development of Federated Learning (FL), a framework for on-device collaborative training of machine learning models. First efforts in FL focused on learning a single global model with good average performance across clients, but the global model may be arbitrarily bad for a given client, due to the inherent heterogeneity of local data distributions. Federated multi-task learning (MTL) approaches can learn personalized models by formulating an opportune penalized optimization problem. The penalization term can capture complex relations among personalized models, but eschews clear statistical assumptions about local data distributions. In this work, we propose to study federated MTL under the flexible assumption that each local data distribution is a mixture of unknown underlying distributions. This assumption encompasses most of the existing personalized FL approaches and leads to federated EM-like algorithms for both client-server and fully decentralized settings. Moreover, it provides a principled way to serve personalized models to clients not seen at training time. The algorithms' convergence is analyzed through a novel federated surrogate optimization framework, which can be of general interest. Experimental results on FL benchmarks show that our approach provides models with higher accuracy and fairness than state-of-the-art methods.

研究动机与目标

• 在客户端数据异质性导致单一全局模型不足的情况下，激发对联邦学习的研究动机。
• 提出一个灵活的混合模型假设，其中每个客户端的分布是 M 个底层分布的混合。
• 开发联邦 EM 风格算法（FedEM 和 D-FedEM），用于学习共享组件和个性化混合。
• 在联邦代理优化框架内提供收敛性保证。
• 证明在准确性和公平性方面相对于现有个性化和非个性化的 FL 方法的经验优势。

提出的方法

• 采用生成式混合模型：每个客户端分布是在 M 个底层分布上的混合，具有共享的分量模型。
• 将每个客户端的预测器表示为 M 个分量模型的加权和，并具备可学习的每个客户端的混合权重。
• 将学习表述为最小化对数似然的负值；对联邦 EM 进行应用，其中 E 步计算潜在指派，M 步更新混合权重与组件参数。
• 提供集中式（客户端-服务器）和去中心化（完全对等）实现，FedEM 和 D-FedEM，具备收敛到驻点的保证。
• 将该方法嵌入一个联邦代理优化框架，使其在不同设置和求解器下具有泛化能力。

实验结果

研究问题

• RQ1 在客户端数据异质性存在时，在哪些条件下联邦学习可以利用跨客户端数据来改进个性化模型？
• RQ2 在保持数据本地性的同时，混合分布假设是否能够在联邦学习中实现有原理、可扩展的个性化？
• RQ3 类似 EM 的联邦算法是否收敛到驻点，并对未见客户端提供实际的泛化？
• RQ4 在所提出框架下，集中式和去中心化的 FL 架构在收敛性和性能方面的对比如何？
• RQ5 所提出的方法在准确性和公平性方面相对于现有的个性化和非个性化 FL 基线是否有所提升？

主要发现

• 在标准假设下，FedEM 与 D-FedEM 收敛到联邦目标的驻点，并给出了梯度与混合更新的量化收敛速率。
• 混合分布框架将个性化模型表示为分量模型的加权组合，从而实现跨客户端的知识转移。
• 在联邦学习基准上的实证结果显示，准确性更高且公平性有所提升，相较于最先进的个性化和非个性化的 FL 方法。
• 该方法通过在测试时固定分量并学习新的混合权重，便于对未见客户端进行推断。
• 联邦代理优化为所提出的类似 EM 的算法在客户端-服务器和去中心化设置下提供了统一的收敛框架。