[论文解读] Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity

Saeed Vahidian, Mahdi Morafah+1 more|arXiv (Cornell University)|May 2, 2021

Privacy-Preserving Technologies in Data参考文献 30被引用 5

一句话总结

该论文提出Sub-FedAvg，一种个性化联邦学习框架，通过混合（结构化与非结构化）剪枝识别客户端特定的子网络，实现在数据异质性条件下的高效、高精度个性化。通过剪枝共享参数并保留个性化参数，该方法将通信成本降低至原来的1/10，加速收敛且不损失准确率，在CIFAR-10/100、MNIST和EMNIST上优于最先进基线方法。

ABSTRACT

The traditional approach in FL tries to learn a single global model collaboratively with the help of many clients under the orchestration of a central server. However, learning a single global model might not work well for all clients participating in the FL under data heterogeneity. Therefore, the personalization of the global model becomes crucial in handling the challenges that arise with statistical heterogeneity and the non-IID distribution of data. Unlike prior works, in this work we propose a new approach for obtaining a personalized model from a client-level objective. This further motivates all clients to participate in federation even under statistical heterogeneity in order to improve their performance, instead of merely being a source of data and model training for the central server. To realize this personalization, we leverage finding a small subnetwork for each client by applying hybrid pruning (combination of structured and unstructured pruning), and unstructured pruning. Through a range of experiments on different benchmarks, we observed that the clients with similar data (labels) share similar personal parameters. By finding a subnetwork for each client ...

研究动机与目标

• 为解决在非独立同分布（non-IID）数据分布下联邦学习中的模型个性化挑战，其中单一全局模型无法在各客户端间实现良好泛化。
• 通过结合结构化与非结构化剪枝压缩模型更新，降低联邦学习中的通信开销，同时不损失准确率。
• 使客户端通过个性化子网络提升自身性能，增强其在联邦学习中的参与激励。
• 开发一种无需客户端共享数据或了解标签相似性的方法，仅依赖内在数据异质性来识别个性化子网络。

提出的方法

• 该方法采用混合剪枝策略，结合结构化与非结构化剪枝，为联邦中的每个参与者识别出特定客户端的子网络。
• 非结构化剪枝移除低于阈值的单个权重，而结构化剪枝则移除整个滤波器或通道，从而减小模型大小并降低FLOPs。
• 服务器仅对每个客户端子网络中剩余的非剪枝参数进行参数平均，该方法称为Sub-FedAvg，显著提升了通信效率。
• 客户端在本地训练模型，并仅向服务器传输剪枝后的个性化子网络参数，从而减少通信量。
• 该框架利用统计异质性作为优势：具有相似数据分布的客户端会自然地发展出相似的子网络，从而实现有效个性化。
• 该方法无需事先了解标签分布或客户端相似性，因此更适用于实际部署。

Figure 1: Test accuracy vs pruning percentage result of the proposed Sub-FedAvg (Un) on some sampled clients on LeNet-5 for CIFAR-10.

实验结果

研究问题

• RQ1 联邦学习框架是否能在不共享客户端数据或标签信息的前提下实现有效个性化？
• RQ2 在非独立同分布数据条件下，如何显著降低联邦学习中的通信成本，同时保持或提升模型准确率？
• RQ3 通过混合剪枝识别子网络，是否能实现个性化联邦学习中更快的收敛速度和更低的FLOP使用？
• RQ4 在无显式协调的情况下，客户端特定的子网络结构在多大程度上能自然地从数据异质性中涌现？

主要发现

• Sub-FedAvg (Un)在仅100轮通信后，MNIST测试准确率达到99.5%，CIFAR-10达到86%，优于FedAvg及其他基线方法，在相似或更少轮次内实现更高性能。
• 与先前工作相比，该方法将所需通信轮次减少了2–10倍，CIFAR-10的收敛轮次约为FedAvg的1/3。
• 由于高效的子网络压缩，通信成本最高降低10倍，通过剪枝共用的非个性化权重，交换的模型参数显著减少。
• FLOP减少约50%，LeNet-5参数节省达38%，主要源于全连接层和卷积滤波器的剪枝。
• 该方法在显著减小模型大小和推理复杂度的同时保持高准确率，充分体现了效率与有效性。
• 具有相似数据分布的客户端发展出相似的子网络，证实了统计异质性可实现无需显式协调的自然个性化。

Figure 2: Average test accuracy result of the proposed Sub-FedAvg (Un) versus various average pruning percentages over all clients, on LeNet-5 for CIFAR-10, MNIST and EMNIST benchmarks.