[论文解读] LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets

Ang Li, Jingwei Sun+5 more|arXiv (Cornell University)|Aug 7, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用 73

一句话总结

LotteryFL 通过按客户端训练并交换 lottery ticket 子网络（LTN）来实现个性化联邦学习，在非 IID 数据上获得更好的个性化，同时降低通信成本。

ABSTRACT

Federated learning is a popular distributed machine learning paradigm with enhanced privacy. Its primary goal is learning a global model that offers good performance for the participants as many as possible. The technology is rapidly advancing with many unsolved challenges, among which statistical heterogeneity (i.e., non-IID) and communication efficiency are two critical ones that hinder the development of federated learning. In this work, we propose LotteryFL -- a personalized and communication-efficient federated learning framework via exploiting the Lottery Ticket hypothesis. In LotteryFL, each client learns a lottery ticket network (i.e., a subnetwork of the base model) by applying the Lottery Ticket hypothesis, and only these lottery networks will be communicated between the server and clients. Rather than learning a shared global model in classic federated learning, each client learns a personalized model via LotteryFL; the communication cost can be significantly reduced due to the compact size of lottery networks. To support the training and evaluation of our framework, we construct non-IID datasets based on MNIST, CIFAR-10 and EMNIST by taking feature distribution skew, label distribution skew and quantity skew into consideration. Experiments on these non-IID datasets demonstrate that LotteryFL significantly outperforms existing solutions in terms of personalization and communication cost.

研究动机与目标

• 通过在联邦学习中实现每个客户端的个性化来解决统计异质性（非 IID 数据）的问题。
• 通过传输紧凑的 lottery ticket 子网络而非完整模型来降低联邦学习的通信开销。
• 利用 Lottery Ticket 假说来识别针对每个客户端数据进行定制的稀疏、可训练子网络。
• 提供非 IID 数据集和一个量化数据异质性的度量，以促进非 IID 条件下的联邦学习研究。

提出的方法

• 每个客户端通过对局部数据对基础模型进行剪枝来学习一个 Lottery Ticket Network (LTN)。
• 服务器与客户端之间仅通信 LTNs；服务器通过 FedAvg 聚合 LTNs。
• LTNs 从一个公共基线重新初始化，并在回合中重新剪枝以适应本地数据。
• 客户端验证控制剪枝和掩码更新，以为下一轮生成个性化掩码。
• 服务器通过聚合来自客户端的 LTNs 来更新全局基础模型。
• 引入一种新的非 IID 数据生成协议和客户端级非 IID 指数（CNI）度量。

实验结果

研究问题

• RQ1 LotteryFL 在非 IID 数据上是否比标准的 FL 基线实现更好的个性化？
• RQ2 通过交换 LTNs 而非完整模型，通信成本是否可以显著降低？
• RQ3 非 IID 数据程度（由 CNI 测量）如何影响 LotteryFL 的性能？
• RQ4 在个性化 FL 设置中，剪枝率与模型性能之间的权衡是什么？

主要发现

• 在 MNIST、CIFAR-10 和 EMNIST 的非 IID 数据集上，LotteryFL 在个性化和通信成本方面均优于 FedAvg、LG-FedAvg 和 Standalone 基线。
• LTNs 高度稀疏且具有个性化特征，随着剪枝增加，大量参数对各个客户端而言是唯一的。
• 提高目标剪枝率通常增加每层的个性化参数比例，同时保持或提升准确率。
• 每轮更多参与客户端可以提升所有方法的个性化水平，LotteryFL 保持最佳性能并实现最低的通信成本。
• 每个客户端的每类别数据量越大（样本越多），收敛越快，可以进行更具侵略性的剪枝，从而进一步降低通信成本。
• 作者提出并验证了客户端级非 IID 指数（CNI），作为衡量客户端数据异质性的简单、固定编码器-based 量度。