[论文解读] Adapt to Adaptation: Learning Personalization for Cross-Silo Federated Learning

Jun Luo, Shandong Wu|arXiv (Cornell University)|Oct 15, 2021

Privacy-Preserving Technologies in Data被引用 6

一句话总结

该论文提出 APPLE，一种个性化跨孤岛联邦学习框架，通过自适应学习客户端特定的有向关系（DRs），确定每个客户端从其他客户端模型中受益的程度，而无需共享数据或全局模型更新。通过动态惩罚 DR 向量，APPLE 灵活平衡全局与本地训练目标，在通信预算有限的情况下，于非独立同分布（non-IID）基准数据集和医学影像数据集上实现了最先进性能。

ABSTRACT

Conventional federated learning (FL) trains one global model for a federation of clients with decentralized data, reducing the privacy risk of centralized training. However, the distribution shift across non-IID datasets, often poses a challenge to this one-model-fits-all solution. Personalized FL aims to mitigate this issue systematically. In this work, we propose APPLE, a personalized cross-silo FL framework that adaptively learns how much each client can benefit from other clients' models. We also introduce a method to flexibly control the focus of training APPLE between global and local objectives. We empirically evaluate our method's convergence and generalization behaviors, and perform extensive experiments on two benchmark datasets and two medical imaging datasets under two non-IID settings. The results show that the proposed personalized FL framework, APPLE, achieves state-of-the-art performance compared to several other personalized FL approaches in the literature. The code is publicly available at https://github.com/ljaiverson/pFL-APPLE.

研究动机与目标

• 解决跨孤岛联邦学习中因数据异质性导致的挑战，其中非独立同分布（non-IID）数据分布会降低全局模型性能。
• 开发一种以客户端为中心的方法，在不依赖其他客户端数据分布知识的前提下实现模型个性化。
• 通过可学习的有向关系（DRs）实现自适应个性化，学习每个客户端从其他客户端模型中可受益的程度。
• 通过仅传输核心模型和 DR 向量（从不传输完整个性化模型或原始数据），降低隐私风险。
• 通过智能选择有益模型进行下载，在通信预算有限的情况下实现强泛化能力和收敛性。

提出的方法

• 每个客户端使用核心模型和可学习的 DR 向量训练本地个性化模型，其中 DR 向量用于加权来自其他客户端的下载核心模型。
• 客户端仅将核心模型上传至服务器，服务器存储并分发这些模型，不作任何修改。
• 每个客户端上的 DR 向量通过一种近端惩罚机制进行学习，该机制可动态控制全局与本地训练目标之间的平衡。
• DR 学习过程确保客户端优先选择数据分布相似的客户端的核心模型，并抑制不相关或有害的模型。
• 动态惩罚机制允许在训练过程中灵活权衡全局一致性与客户端特定的个性化。
• 该框架在不共享 DR 向量或个性化模型的前提下运行，从而保护客户端隐私。

实验结果

研究问题

• RQ1 如何在不损害隐私的前提下，将联邦学习适配于处理跨孤岛设置中显著的数据异质性？
• RQ2 是否可以在无法访问其他客户端数据分布的情况下，学习一种与客户端无关的模型自适应策略？
• RQ3 自适应模型个性化在非独立同分布联邦学习中能在多大程度上提升泛化能力和收敛性？
• RQ4 在通信受限环境下的性能表现如何？
• RQ5 该框架是否能在保持强隐私保障的同时实现最先进性能？

主要发现

• APPLE 在两种非独立同分布（non-IID）设置下，于基准数据集（CIFAR10、PathMNIST）和医学影像数据集（OrganMNIST、PathMNIST）上均实现了最先进性能。
• 在病理型非独立同分布设置下，APPLE 在 CIFAR10 上优于 FedFomo（93.55% vs. 83.35%），在 OrganMNIST（轴向）上也优于 FedFomo（98.52% vs. 91.54%），而 FedFomo 在 PathMNIST 上表现更优。
• 在实际非独立同分布设置下，APPLE 在所有数据集上均持续优于 FedFomo，即使在低通信预算下（例如 M=1）亦是如此。
• 在通信受限（M=1）条件下，APPLE 仍保持高性能，表明通过 DR 实现的智能模型选择可减少对下载大量模型的需求。
• DR 可视化结果证实，客户端为其数据分布相似的客户端所对应的核心模型分配更高的权重，验证了自适应学习机制的有效性。
• 自关系（p_i,i）始终高于其他 DR，证实每个客户端优先考虑其自身的核心模型。