[论文解读] Federated Learning with Taskonomy for Non-IID Data.

Hadi Jamali Rad, Mohammad Abdizadeh+1 more|arXiv (Cornell University)|Mar 29, 2021

Privacy-Preserving Technologies in Data参考文献 50被引用 5

一句话总结

Federated Learning with Taskonomy (FLT) 通过一种一次性、由服务器驱动的过程，利用预训练编码器将客户端数据压缩为潜在签名，从而在联邦学习中解决非独立同分布（non-IID）数据问题。服务器随后利用流形学习来建模客户端之间的相关性，并推广联邦平均算法，实现在聚类和非聚类客户端配置下的高效聚合，在非IIDs设置下实现了最先进性能和更高的公平性。

ABSTRACT

Classical federated learning approaches incur significant performance degradation in the presence of non-IID client data. A possible direction to address this issue is forming clusters of clients with roughly IID data. Most solutions following this direction are iterative and relatively slow, also prone to convergence issues in discovering underlying cluster formations. We introduce federated learning with taskonomy (FLT) that generalizes this direction by learning the task-relatedness between clients for more efficient federated aggregation of heterogeneous data. In a one-off process, the server provides the clients with a pretrained (and fine-tunable) encoder to compress their data into a latent representation, and transmit the signature of their data back to the server. The server then learns the task-relatedness among clients via manifold learning, and performs a generalization of federated averaging. FLT can flexibly handle a generic client relatedness graph, when there are no explicit clusters of clients, as well as efficiently decompose it into (disjoint) clusters for clustered federated learning. We demonstrate that FLT not only outperforms the existing state-of-the-art baselines in non-IID scenarios but also offers improved fairness across clients.

研究动机与目标

• 解决由非独立同分布客户端数据分布引起的联邦学习性能下降问题。
• 克服现有基于聚类方法在非IIDs 数据下收敛缓慢且迭代性强的局限。
• 通过建模客户端之间的任务相关性，实现异构数据的高效灵活聚合。
• 改善具有不同数据分布的客户端之间的模型性能公平性。
• 通过支持任意客户端相关性图，将联邦平均推广至严格客户端聚类之外的场景。

提出的方法

• 客户端使用由服务器提供的预训练、可微调编码器，将本地数据压缩为潜在表示。
• 每个客户端向服务器传输其潜在表示的签名（例如，统计摘要）。
• 服务器利用潜在签名上的流形学习来学习客户端之间的任务相关性。
• 服务器执行考虑已学习客户端相关性图的广义联邦平均。
• 该方法支持非聚类配置，也支持基于学习到的相关性对客户端进行显式聚类。
• 该方法设计为一次性过程，避免迭代优化，从而提升收敛稳定性。

实验结果

研究问题

• RQ1 一次性、非迭代方法能否有效建模非IIDs 联邦学习中的客户端相关性？
• RQ2 与标准联邦平均相比，学习客户端之间的任务相关性在多大程度上提升了模型性能？
• RQ3 该方法能否超越显式客户端聚类，处理任意客户端相关性图？
• RQ4 FLT 在客户端具有异质数据的情况下，能在多大程度上提升模型准确率的公平性？
• RQ5 在非IIDs 设置下，FLT 与最先进基线方法相比表现如何？

主要发现

• FLT 在非IIDs 数据场景下优于现有最先进基线方法，表现出更优的模型准确率。
• 该方法显著提升了客户端之间模型性能的公平性，减少了性能差异。
• FLT 通过整合学习到的客户端相关性，有效推广了联邦平均，即使在无预定义聚类的情况下也适用。
• 该方法的一次性、非迭代特性使其收敛速度优于迭代聚类方法。
• 在客户端潜在签名上应用流形学习能成功捕捉任务相关性，从而实现更有效的聚合。
• 即使客户端具有高度异质的数据分布，该方法仍能保持高性能。