[论文解读] Federated Multi-Target Domain Adaptation

Chun-Han Yao, Boqing Gong+4 more|arXiv (Cornell University)|Aug 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 4

一句话总结

本文提出 DualAdapt，一种新颖的联邦多目标域自适应（FMTDA）框架，通过使用未标注的客户端数据和集中化的标注数据集，实现高效且保护隐私的模型训练。通过将客户端的本地自适应（采用轻量级分类器和高斯混合模型）与服务器端基于 mixup 的代理集进行的全局特征自适应解耦，DualAdapt 在极低通信和计算成本下实现高精度——相比基线方法，客户端 FLOPs 减少约 75%。

ABSTRACT

Federated learning methods enable us to train machine learning models on distributed user data while preserving its privacy. However, it is not always feasible to obtain high-quality supervisory signals from users, especially for vision tasks. Unlike typical federated settings with labeled client data, we consider a more practical scenario where the distributed client data is unlabeled, and a centralized labeled dataset is available on the server. We further take the server-client and inter-client domain shifts into account and pose a domain adaptation problem with one source (centralized server data) and multiple targets (distributed client data). Within this new Federated Multi-Target Domain Adaptation (FMTDA) task, we analyze the model performance of exiting domain adaptation methods and propose an effective DualAdapt method to address the new challenges. Extensive experimental results on image classification and semantic segmentation tasks demonstrate that our method achieves high accuracy, incurs minimal communication cost, and requires low computational resources on client devices.

研究动机与目标

• 为解决在客户端数据未标注且私密，而存在集中化标注数据集时，联邦学习中训练高精度视觉模型的实际挑战。
• 识别 FMTDA 中的关键挑战：服务器无法访问客户端数据、客户端间域分布差异、客户端数据有限，以及通信与计算约束。
• 提出一种新框架，将客户端的轻量级本地自适应与服务器端的重型全局自适应解耦，避免直接传输数据。
• 在保持跨多样化客户端域的高模型精度的同时，最小化客户端侧的计算与通信成本。
• 在真实联邦设置下，于图像分类与语义分割任务上评估该方法，并与强基线方法进行对比。

提出的方法

• 将模型分解为冻结的特征提取器和每个客户端设备上可训练的本地分类器，以减少客户端侧计算量。
• 在每个客户端的未标注数据上拟合参数化的高斯混合模型（GMM），以编码其统计分布并传输至服务器。
• 仅上传 GMM 参数和本地分类器权重，避免原始数据传输，从而保护隐私。
• 在服务器端，使用源数据集的 mixup 增强版本作为代理集，以模拟多样化的目标域。
• 使用客户端特定的 GMM 对 mixup 代理样本进行加权，以在全局特征自适应过程中近似每个目标域的分布。
• 联合微调服务器端的全局特征提取器和分类器，使用 GMM 加权的代理集，实现在不访问客户端数据的情况下有效进行域自适应。

实验结果

研究问题

• RQ1 当将现有的集中式域自适应方法适配到联邦多目标设置（客户端数据未标注，集中化标注源数据可用）时，其表现如何？
• RQ2 在联邦多目标域自适应中，客户端间域分布差异和有限客户端数据带来了哪些关键挑战？
• RQ3 解耦的客户端-服务器训练策略是否能有效降低通信与计算成本，同时在 FMTDA 中保持高模型精度？
• RQ4 使用 GMM 加权的 mixup 代理集是否能有效在无直接数据访问的情况下，近似多样化的客户端数据分布？
• RQ5 在 FMTDA 中，模型性能、通信成本与客户端计算成本之间的最优权衡是什么？

主要发现

• 在 Digit-Five 基准上，DualAdapt 相较 Fed-MCD 实现 1.1% 的精度提升，同时客户端 FLOPs 减少约 75%，通信开销降低 50%。
• 在 DualAdapt 中引入自训练机制可使精度额外提升 0.7%，且计算成本几乎无增加。
• GMM 加权机制使模型在仅增加 1,000 个额外参数用于上传与广播的情况下，实现接近“理想情况”的性能。
• 通过冻结特征提取器并避免在设备上进行完整模型更新，该方法将客户端计算成本降低至联邦基线方法的约 1/4。
• 在集中式多目标 DA 实验中，一主多从方法（共享特征提取器与私有分类器）在低数据场景下优于一对一和一合并为一的方法，验证了 FMTDA 中该设计选择的合理性。
• 在图像分类与语义分割任务上的大量实验表明，DualAdapt 在精度、通信效率与计算效率方面均持续优于集中式与联邦基线方法。