[论文解读] Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning

Yann Fraboni, Yu. Vertogradova+2 more|arXiv (Cornell University)|May 12, 2021

Privacy-Preserving Technologies in Data被引用 47

一句话总结

引入聚类采样在联邦学习中选择客户端，实现无偏聚合、降低权重方差并提高表征性，从而改进收敛性。

ABSTRACT

This work addresses the problem of optimizing communications between server and clients in federated learning (FL). Current sampling approaches in FL are either biased, or non optimal in terms of server-clients communications and training stability. To overcome this issue, we introduce extit{clustered sampling} for clients selection. We prove that clustered sampling leads to better clients representatitivity and to reduced variance of the clients stochastic aggregation weights in FL. Compatibly with our theory, we provide two different clustering approaches enabling clients aggregation based on 1) sample size, and 2) models similarity. Through a series of experiments in non-iid and unbalanced scenarios, we demonstrate that model aggregation through clustered sampling consistently leads to better training convergence and variability when compared to standard sampling approaches. Our approach does not require any additional operation on the clients side, and can be seamlessly integrated in standard FL implementations. Finally, clustered sampling is compatible with existing methods and technologies for privacy enhancement, and for communication reduction through model compression.

研究动机与目标

• 动机：在联邦学习中优化服务器-客户端通信，并解决现有客户端采样中的偏差与高方差问题。
• 引入聚类采样，作为 MD 采样的无偏、低方差替代方案。
• 在理论上为聚类采样确立收敛性保证，并将 MD 采样作为基线。
• 展示基于聚类的实际实现，提升表征性并在迭代中降低聚合权重方差。

提出的方法

• 将聚类采样定义为 MD 采样的推广，使用多个独立分布 W_k(t) 来选择 m 个客户端。
• 证明在 m 个分布下满足 r_{k,i}^t 概率可得到全局无偏聚合（sum r_{k,i}^t = m p_i）。
• 证明聚类采样保持与 MD 采样相同的收敛界限（O(1/√(mNT)) + O(mN/T)）。
• 给出两种具体的聚类方法：(i) 基于客户端样本量（算法1），(ii) 基于模型/更新相似度（算法2）。
• 将理论扩展至统一无偏性与无需额外客户端操作的实际实现。
• 讨论与隐私保护和通信量降低技术的兼容性。

实验结果

研究问题

• RQ1 聚类采样是否能像 MD 采样一样提供无偏聚合，同时降低客户端聚合权重的方差？
• RQ2 聚类如何影响联邦学习中异质（非 IID、不平衡）客户端数据的表征性？
• RQ3 基于样本量与相似度的实际聚类采样方案能否相比 MD 采样改善收敛速度与稳定性？
• RQ4 相对于现有方法，聚类采样的理论收敛性保证是什么？
• RQ5 在非 IID 分区的标准基准数据集（MNIST、CIFAR-10）上，所提出的算法表现如何？

主要发现

• 在适用条件下，聚类采样达到与 MD 采样相同的收敛界限，因此保留了对 FL 优化的理论保证。
• 聚类采样降低了相较于 MD 采样的客户端聚合权重方差，提升了每个客户端的表征性。
• 通过聚类提高在迭代中对所有客户端的抽样概率，从而更好地代表异质数据。
• 基于样本量（算法1）和基于相似度（算法2）的算法具有实用性，后者促进对相似客户端的表示。
• 在 MNIST 与 CIFAR-10 的实验中，相较于 MD 采样显示出更好的训练收敛和更低的变异性，尤其在数据异质性较高时。