[论文解读] DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training

Rongji Dai, Li Shen+3 more|arXiv (Cornell University)|Jun 1, 2022

Privacy-Preserving Technologies in Data被引用 47

一句话总结

DisPFL 通过去中心化的稀疏训练实现去中心化、个性化的联邦学习，在非IID数据和异构客户端约束下减少通信和计算，同时提高每个用户的准确性。

ABSTRACT

Personalized federated learning is proposed to handle the data heterogeneity problem amongst clients by learning dedicated tailored local models for each user. However, existing works are often built in a centralized way, leading to high communication pressure and high vulnerability when a failure or an attack on the central server occurs. In this work, we propose a novel personalized federated learning framework in a decentralized (peer-to-peer) communication protocol named Dis-PFL, which employs personalized sparse masks to customize sparse local models on the edge. To further save the communication and computation cost, we propose a decentralized sparse training technique, which means that each local model in Dis-PFL only maintains a fixed number of active parameters throughout the whole local training and peer-to-peer communication process. Comprehensive experiments demonstrate that Dis-PFL significantly saves the communication bottleneck for the busiest node among all clients and, at the same time, achieves higher model accuracy with less computation cost and communication rounds. Furthermore, we demonstrate that our method can easily adapt to heterogeneous local clients with varying computation complexities and achieves better personalized performances.

研究动机与目标

• 通过在去中心化环境中为每个客户端学习个性化模型来解决数据异质性。
• 通过持续稀疏掩码和去中心化的八卦式（gossip）更新来降低通信和计算成本。
• 适应在计算、内存和带宽方面各异的客户端能力。
• 为稀疏、个性化的去中心化模型提供理论泛化洞见。
• 在常见的非IID分区下在标准基准上实证验证性能。

提出的方法

• 将个性化FL表述为带全局密集模型 w 与客户端特定掩码 mk 的形式，优化 f(w, m1,...,mK) = (1/K) sum_k Fk(w ∘ mk).
• 用从 Erdos-Renyi Kernel 派生的稀疏掩码初始化每个客户端，以匹配容量 c_k。
• 使用一种修改的 gossip 平均，只聚合相邻节点之间活跃权重的交集。
• 使用固定稀疏掩码进行局部训练以节省计算。
• 通过余弦衰减剪枝和梯度信息驱动的恢复来更新每个客户端的掩码，以增强个性化。
• 通过仅对活跃坐标屏蔽前向和后向传播来确保计算和通信节省。

实验结果

研究问题

• RQ1 在非IID FL 设置下，去中心化稀疏训练框架是否能实现带有更少通信的个性化模型？
• RQ2 所提出的基于掩码的个性化与去中心化 gossip 平均如何互动，以在精度和效率之间取得平衡？
• RQ3 Dis-PFL 在计算、内存和通信方面对异构客户端能力的适应性有多强？
• RQ4 可以为去中心化稀疏个性化模型建立哪些理论泛化界限？
• RQ5 在标准数据集（CIFAR-10/100、Tiny-ImageNet）上的实证结果是否在各种分区和拓扑结构下倾向于 Dis-PFL 相对于集中式/去中心化基线？

主要发现

任务	方法	Dir Part 准确率	Path Part 准确率	通信量 (MB)	FLOPS (1e12)
CIFAR-10	Local	61.55 ± 0.2	86.48 ± 0.2	-	8.3
CIFAR-10	FedAvg	78.07 ± 0.5	54.53 ± 0.6	446.9	8.3
CIFAR-10	FedAvg-FT	81.20 ± 0.5	84.96 ± 0.2	446.9	8.3
CIFAR-10	D-PSGD	79.02 ± 0.4	58.07 ± 0.5	446.9	8.3
CIFAR-10	D-PSGD-FT	83.90 ± 0.2	90.87 ± 0.2	446.9	8.3
CIFAR-10	Ditto	74.68 ± 0.2	87.73 ± 0.1	446.9	8.3
CIFAR-10	FOMO	64.68 ± 0.2	88.24 ± 0.1	446.9	8.3
CIFAR-10	SubFedAvg	76.70 ± 0.2	88.30 ± 0.2	278.8	4.7
CIFAR-10	Dis-PFL	85.70 ± 0.2	91.05 ± 0.2	223.4	7.0
CIFAR-100	Local	29.23 ± 0.2	52.46 ± 0.2	-	8.3
CIFAR-100	FedAvg	41.72 ± 0.5	33.24 ± 0.6	448.7	8.3
CIFAR-100	FedAvg-FT	49.19 ± 0.5	63.53 ± 0.7	448.7	8.3
CIFAR-100	D-PSGD	41.87 ± 0.4	35.42 ± 0.2	448.7	8.3
CIFAR-100	D-PSGD-FT	51.42 ± 0.4	67.24 ± 0.1	448.7	8.3
CIFAR-100	Ditto	38.26 ± 0.2	54.02 ± 0.3	448.7	8.3
CIFAR-100	FOMO	28.39 ± 0.1	52.74 ± 0.1	448.7	8.3
CIFAR-100	SubFedAvg	43.91 ± 0.2	60.67 ± 0.1	346.6	5.7
CIFAR-100	Dis-PFL	53.48 ± 0.3	68.64 ± 0.4	224.3	7.0
Tiny-Imagenet	Local	6.76 ± 0.2	17.68 ± 0.3	-	66.6
Tiny-Imagenet	FedAvg	12.30 ± 0.3	10.40 ± 0.3	450.7	66.6
Tiny-Imagenet	FedAvg-FT	14.80 ± 0.2	28.30 ± 0.2	450.7	66.6
Tiny-Imagenet	D-PSGD	12.13 ± 0.5	16.50 ± 0.4	450.7	66.6
Tiny-Imagenet	D-PSGD-FT	15.50 ± 0.3	28.60 ± 0.3	450.7	66.6
Tiny-Imagenet	Ditto	15.69 ± 0.2	24.55 ± 0.3	450.7	66.6
Tiny-Imagenet	FOMO	5.20 ± 0.4	9.39 ± 0.3	450.7	66.6
Tiny-Imagenet	SubFedAvg	12.18 ± 0.4	19.73 ± 0.5	290.9	40.2
Tiny-Imagenet	Dis-PFL	16.95 ± 0.4	31.71 ± 0.4	225.3	54.5

• 在 Dirichlet 和 path 分区下，Dis-PFL 在 CIFAR-10、CIFAR-100 和 Tiny-Imagenet 的测试准确率上超过集中和去中心化基线。
• Dis-PFL 实现了更高的本地个性化准确率（Path Part），并且对等通信量（Comm）更低，FLOPs 方面相当或更低。
• 方法在达到目标精度的通信轮次方面更少，尤其是在受限拓扑（环、全连接，时间变化连接）下。
• 通过分配不同的稀疏掩码，可容纳能力各异的客户端，保持较强性能。
• 学习得到的稀疏掩码与数据分布对齐，并在客户端之间显示出可解释的相似性，支持个性化收益。