[论文解读] Private Federated Learning with Domain Adaptation

Daniel Peterson, Pallika Kanani+1 more|arXiv (Cornell University)|Dec 13, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用 57

一句话总结

本论文在差分隐私保护的前提下，提出了一种结合 per-user 域自适应的联邦学习（FL+DE），通过混合通用模型与私有领域专家在不同隐私设置下相对标准 DP-FL 提高准确性。

ABSTRACT

Federated Learning (FL) is a distributed machine learning (ML) paradigm that enables multiple parties to jointly re-train a shared model without sharing their data with any other parties, offering advantages in both scale and privacy. We propose a framework to augment this collaborative model-building with per-user domain adaptation. We show that this technique improves model accuracy for all users, using both real and synthetic data, and that this improvement is much more pronounced when differential privacy bounds are imposed on the FL model.

研究动机与目标

• 在拥有多样域的用户之间，推动隐私保护的协作模型训练。
• 在联邦学习中引入领域自适应机制以实现对每个用户的个性化预测。
• 证明通过混合专家将共享通用模型与每个用户的私有模型结合，在差分隐私条件下能提高准确性。
• 显示私有领域专家在本领域内能够实现无噪声更新，同时保留全局学习的优势。

提出的方法

• 给出通过带差分隐私的联邦学习训练的通用模型 M_G 的形式化。
• 将每个私有领域模型 M_Pi 初始化为 M_G 的副本，并在私有数据上训练，且不加入 DP 噪声。
• 使用带门控函数 alpha_i(x) 的专家混合来为每个用户组合 M_G 与 M_Pi 的输出。
• 通过梯度下降训练所有组件，包括门控权重 w_i 和偏置 b_i。
• 在合成回归数据和一个真实的垃圾邮件检测域自适应数据集上评估，以比较基线、FL 与 FL+DE 在不同隐私/噪声设置下的表现。

实验结果

研究问题

• RQ1 在不同用户域下，按用户进行域自适应的联邦学习是否能提升准确性？
• RQ2 混合专家方法能否在差分隐私的联邦学习中缓解准确度下降？
• RQ3 在不同 DP 噪声水平下，私有域模型如何与通用 FL 模型互动？
• RQ4 当全局数据中某些用户域表示不足时，域自适应对通用模型泛化的影响？

主要发现

• 在各种测试情景中，FL+DE 相较基础线和标准 DP-FL 获得最高准确性。
• 仅域自适应就能在真实数据集上带来约 1.3% 的绝对准确性提升。
• 在低噪声下，DP-FL 的准确性损失大于 FL+DE；在高噪声情形下，DP-FL 降幅为 13.9%，而 FL+DE 仅降幅 0.8%。
• 在合成数据中，随着 DP 噪声增加，FL+DE 仍更接近基线，而 DP-FL 可能对某些用户低于非协作基线。
• 门控函数学会在输入空间的不同区域信任通用模型或私有模型，从而实现有针对性的域自适应。