[论文解读] FedCG: Leverage Conditional GAN for Protecting Privacy and Maintaining Competitive Performance in Federated Learning

Yuezhou Wu, Yan Kang+3 more|arXiv (Cornell University)|Nov 16, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

FedCG 提出了一种新颖的联邦学习框架，通过使用条件生成对抗网络（conditional GANs）在保护客户端数据隐私的同时，保持本地特征提取器私有，仅共享生成器以实现知识聚合。该方法在模型性能方面表现优异，对梯度反演攻击（如 DLG）具有强抵抗能力，准确率比 FedSplit 至少高出 2%，同时保持较低的隐私泄露水平（PSNR < 9 dB）。

ABSTRACT

Federated learning (FL) aims to protect data privacy by enabling clients to build machine learning models collaboratively without sharing their private data. Recent works demonstrate that information exchanged during FL is subject to gradient-based privacy attacks, and consequently, a variety of privacy-preserving methods have been adopted to thwart such attacks. However, these defensive methods either introduce orders of magnitude more computational and communication overheads (e.g., with homomorphic encryption) or incur substantial model performance losses in terms of prediction accuracy (e.g., with differential privacy). In this work, we propose $ extsc{FedCG}$, a novel federated learning method that leverages conditional generative adversarial networks to achieve high-level privacy protection while still maintaining competitive model performance. $ extsc{FedCG}$ decomposes each client's local network into a private extractor and a public classifier and keeps the extractor local to protect privacy. Instead of exposing extractors, $ extsc{FedCG}$ shares clients' generators with the server for aggregating clients' shared knowledge, aiming to enhance the performance of each client's local networks. Extensive experiments demonstrate that $ extsc{FedCG}$ can achieve competitive model performance compared with FL baselines, and privacy analysis shows that $ extsc{FedCG}$ has a high-level privacy-preserving capability. Code is available at https://github.com/yankang18/FedCG

研究动机与目标

• 解决联邦学习对基于梯度的隐私攻击（如梯度中的深度泄露，DLG）的脆弱性，即共享的梯度可能重构原始训练数据。
• 克服现有隐私保护方法的局限性：同态加密（计算成本过高）和差分隐私（导致显著的准确率损失）。
• 在非独立同分布（non-IID）和独立同分布（IID）数据设置下保持高模型性能，同时确保客户端的私有数据和本地模型不被服务器访问。
• 提出一种新的联邦学习范式，将私有的特征提取与公开的分类任务解耦，通过共享生成器而非完整模型实现安全的知识共享。

提出的方法

• 将每个客户端的本地神经网络分解为私有的特征提取器（保留在本地）和公开的分类器（与服务器共享）。
• 在每个客户端训练一个条件生成对抗网络（cGAN），其中生成器学习将随机噪声映射到客户端特定的数据分布，判别器确保生成样本的真实性。
• 仅与服务器共享训练好的生成器和公开分类器，避免暴露任何直接处理原始数据的模型。
• 在服务器端使用知识蒸馏技术聚合客户端的生成器和分类器，构建全局模型，以提升本地性能。
• 利用全局生成器通过知识蒸馏引导本地训练，提升本地模型准确率，同时不暴露私有数据或梯度。
• 采用基于 DLG 攻击的隐私评估协议，通过峰值信噪比（PSNR）衡量原始图像与恢复图像之间的重建质量，验证隐私保护强度。

Figure 1: Overview of FedCG .

实验结果

研究问题

• RQ1 联邦学习系统是否能在不牺牲模型性能的前提下，实现对 DLG 等梯度反演攻击的强隐私保护？
• RQ2 与共享完整模型或梯度相比，共享条件 GAN 生成器是否能降低数据重构风险，同时保持具有竞争力的准确率？
• RQ3 在 DLG 攻击下，FedCG 与 FedSplit 及 DP 增强的 FedAvg 在模型准确率和隐私泄露方面相比如何？
• RQ4 通过共享生成器进行知识蒸馏是否能提升本地模型性能，特别是在标准联邦学习方法表现困难的非独立同分布（non-IID）数据设置下？
• RQ5 与传统的防御方法（如差分隐私或同态加密）相比，使用 cGAN 机制进行混淆，在隐私与性能之间存在何种权衡？

主要发现

• FedCG 实现了具有竞争力的模型性能，在所有三个数据集（CIFAR10、FMNIST、Office）上准确率均比 FedSplit 至少高出 2%，在 Office 数据集上甚至超过 FedProx 4.35%。
• 在 FMNIST 数据集上，FedCG 在 IID 设置下所有基线方法中准确率最高，展现出强大的泛化能力。
• 在非 IID 情况下，FedCG 在三个数据集的 13 个客户端中，有 12 个客户端的性能优于本地训练，表明其对数据异构性的有效处理能力。
• 隐私评估显示，FedCG 在 DLG 攻击下 PSNR 分别为 8.99 dB（CIFAR10）、7.85 dB（DIGIT5）和 7.57 dB（Office），远低于 FedAvg（24.14–26.82 dB），表明其数据重构能力极弱。
• FedCG 在保持高隐私保护水平（低 PSNR）的同时，准确率优于 FedSplit，后者虽具有相似的隐私水平但性能较低。
• 在 FedAvg 中添加差分隐私会使准确率下降超过 20%（例如 CIFAR10 上从 47.23% 降至 35.4%），而 FedCG 避免了此类性能退化，同时提供更强的隐私保障。

Figure 2: Two-stage client update . (a) Classification network update. (b) Generative network update.