[论文解读] Federated Learning with Domain Generalization

Liling Zhang, Xinyu Lei+3 more|arXiv (Cornell University)|Nov 20, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用 28

一句话总结

本文提出了 FedADG，这是一个联邦对抗域泛化框架，在类级别、隐私保护的方式，将源域分布对齐到动态学习的参考分布，以提升对未知域的泛化。

ABSTRACT

Federated Learning (FL) enables a group of clients to jointly train a machine learning model with the help of a centralized server. Clients do not need to submit their local data to the server during training, and hence the local training data of clients is protected. In FL, distributed clients collect their local data independently, so the dataset of each client may naturally form a distinct source domain. In practice, the model trained over multiple source domains may have poor generalization performance on unseen target domains. To address this issue, we propose FedADG to equip federated learning with domain generalization capability. FedADG employs the federated adversarial learning approach to measure and align the distributions among different source domains via matching each distribution to a reference distribution. The reference distribution is adaptively generated (by accommodating all source domains) to minimize the domain shift distance during alignment. In FedADG, the alignment is fine-grained since each class is aligned independently. In this way, the learned feature representation is supposed to be universal, so it can generalize well on the unseen domains. Intensive experiments on various datasets demonstrate that FedADG has comparable performance with the state-of-the-art.

研究动机与目标

• 在客户端数据不能集中时，推动联邦学习中的域泛化。
• 提出一个联邦对抗域泛化（FedADG）框架，将源域分布对齐到动态参考分布。
• 实现按类别对齐，以提升判别性并对未见的目标域实现更好的泛化。
• 通过保持数据本地并仅交换模型参数来保护数据隐私。
• 在 FL 设置中展示与最先进的域泛化方法的竞争性能。

提出的方法

• 在每个客户端引入由特征提取器、判别器、分布生成器和分类器组成的 Federated Adversarial Domain Generalization (FedADG)。
• 使用对抗学习网络（ALN）将来自真实数据的特征对齐到生成的参考分布。
• 采用环绕所有源域分布的动态生成参考分布，以减少对齐失真的影响。
• 通过在对抗学习过程中使用标签信息（一热向量）实现按类别对齐。
• 训练时的联合损失为 L_FedADG = L_adv_d + L_adv_g + lambda_0 L_adv_f + lambda_1 L_err，其中 L_adv_d、L_adv_g、L_adv_f 为对抗损失，L_err 为带平滑的标签交叉熵。
• 实现 FedALN 以在没有集中访问客户端数据的情况下实现对抗网络的联邦训练。
• 提供服务器—客户端训练协议，定期聚合 (F, C, G) 并进行本地 D 更新。

实验结果

研究问题

• RQ1 如何在不分享原始数据的情况下在联邦学习中实现域泛化？
• RQ2 动态生成的参考分布是否能改善对齐并减少跨源域的特征失真？
• RQ3 与全局对齐相比，按类别对齐是否能获得对未见目标域的更好泛化？
• RQ4 在标准 DG 基准上，FedADG 相对于集中式 DG 方法和现有的 FL 基线的表现如何？
• RQ5 自适应生成参考与固定参考对目标域性能的影响有何不同？

主要发现

• FedADG 在标准 DG 数据集上实现与最先进方法相当的域泛化性能。
• 在 VLCS 使用 AlexNet 主干时，FedADG（分布式）达到 75.09 的平均准确率，使用 ResNet18 主干时达到 76.28 的平均准确率。
• FedADG 在 VLCS 的平均准确率方面优于若干集中与分布式基线（如 FedAvg）。
• 自适应参考分布比固定参考造成更小的对齐失真，且特征更具判别性、按类别对齐。
• 按类别对齐和对抗学习得到的域不变特征有助于提升对未见域的泛化。
• 一个代表性例子显示 FedADG 在 VLCS 的目标域平均准确率从分布式 FedAvg 提升到 FedADG（例如在 AlexNet 上 54.79 提升到 75.09）