[论文解读] Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces

Saeed Vahidian, Mahdi Morafah+5 more|arXiv (Cornell University)|Sep 21, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出PACFL，一种一次性聚类联邦学习框架，通过使用截断SVD计算客户端数据子空间之间的主角，高效识别客户端之间的分布相似性。通过每名客户端仅交换3–5个主向量，服务器即可在无需迭代训练的情况下形成聚类，从而实现更快收敛、更低通信开销，并对未知聚类数量及超出标签偏移的复杂数据异质性具有鲁棒性。

ABSTRACT

Clustered federated learning (FL) has been shown to produce promising results by grouping clients into clusters. This is especially effective in scenarios where separate groups of clients have significant differences in the distributions of their local data. Existing clustered FL algorithms are essentially trying to group together clients with similar distributions so that clients in the same cluster can leverage each other's data to better perform federated learning. However, prior clustered FL algorithms attempt to learn these distribution similarities indirectly during training, which can be quite time consuming as many rounds of federated learning may be required until the formation of clusters is stabilized. In this paper, we propose a new approach to federated learning that directly aims to efficiently identify distribution similarities among clients by analyzing the principal angles between the client data subspaces. Each client applies a truncated singular value decomposition (SVD) step on its local data in a single-shot manner to derive a small set of principal vectors, which provides a signature that succinctly captures the main characteristics of the underlying distribution. This small set of principal vectors is provided to the server so that the server can directly identify distribution similarities among the clients to form clusters. This is achieved by comparing the similarities of the principal angles between the client data subspaces spanned by those principal vectors. The approach provides a simple, yet effective clustered FL framework that addresses a broad range of data heterogeneity issues beyond simpler forms of Non-IIDness like label skews. Our clustered FL approach also enables convergence guarantees for non-convex objectives. Our code is available at https://github.com/MMorafah/PACFL.

研究动机与目标

• 为解决现有聚类联邦学习方法需要大量训练轮次才能稳定聚类的低效问题。
• 消除在聚类联邦学习中预先定义聚类数量的需求，避免因真实聚类数未知而降低性能。
• 通过避免每轮传输完整模型权重或多个聚类模型，降低通信开销。
• 仅通过少量主向量即可实现对客户端间分布相似性的直接、隐私保护识别。
• 为异质联邦学习设置下的非凸目标提供收敛性保证。

提出的方法

• 每个客户端对其本地数据执行截断SVD，提取少量（3–5个）主向量，形成底层数据分布的低维签名。
• 这些主向量被发送至服务器，服务器利用它们计算客户端数据子空间之间的主角，以度量分布相似性。
• 服务器基于主向量间余弦相似度对客户端进行聚类，实现在无需迭代模型训练情况下的单次聚类形成。
• 该方法保护客户端数据隐私，因为仅共享主向量，而非原始数据或完整模型权重。
• 该框架通过基于内在数据相似性分配客户端至聚类，支持个性化与全局化之间的灵活权衡。
• 该方法与标准联邦学习优化算法兼容，并在非凸目标下提供理论收敛保证。

实验结果

研究问题

• RQ1 在联邦学习中，能否在无需迭代训练或模型更新的情况下高效识别客户端之间的分布相似性？
• RQ2 如何在不预先指定聚类数量的情况下，实现一次性聚类？
• RQ3 客户端数据子空间之间的主角在异质联邦学习中在多大程度上可作为数据分布相似性的可靠代理？
• RQ4 在聚类联邦学习中，仅传输主向量与传输完整模型权重相比，通信效率的提升程度如何？
• RQ5 该方法在数据异质性联邦学习设置下的非凸优化问题中能否维持收敛性保证？

主要发现

• PACFL通过单步聚类形成，无需迭代稳定过程，相比FedAvg、FedProx和IFCA等基线方法实现更快收敛。
• 通过每名客户端仅传输3–5个主向量，而非完整模型权重，显著降低通信开销。
• 在CIFAR-100、CIFAR-10、FMNIST和SVHN数据集上，PACFL在各种数据异质性设置下均优于IFCA及其他聚类联邦学习基线方法。
• 该框架对未知聚类数量具有鲁棒性，如在Mix4基准测试中，即使未预先指定聚类数量，其在四类设置下仍表现出色。
• 主向量之间的主角使用可实现高精度聚类，即使在复杂数据异质性场景下（如混合分布或不同学习任务）也有效，而不仅限于简单标签偏移。
• 实验结果表明，PACFL在高异质性环境下测试准确率高于Per-FedAvg和LG，证实其在个性化联邦学习中的有效性。