[论文解读] Beyond Inferring Class Representatives: User-Level Privacy Leakage From Federated Learning

Zhibo Wang, Mengkai Song+4 more|arXiv (Cornell University)|Dec 3, 2018

Privacy-Preserving Technologies in Data参考文献 23被引用 44

一句话总结

本论文提出 mGAN-AI，这是一个从恶意服务器出发的多任务 GAN 攻击，在联邦学习中在不影响学习的情况下恢复用户特定数据；在 MNIST 和 AT&T 上进行了演示。

ABSTRACT

Federated learning, i.e., a mobile edge computing framework for deep learning, is a recent advance in privacy-preserving machine learning, where the model is trained in a decentralized manner by the clients, i.e., data curators, preventing the server from directly accessing those private data from the clients. This learning mechanism significantly challenges the attack from the server side. Although the state-of-the-art attacking techniques that incorporated the advance of Generative adversarial networks (GANs) could construct class representatives of the global data distribution among all clients, it is still challenging to distinguishably attack a specific client (i.e., user-level privacy leakage), which is a stronger privacy threat to precisely recover the private data from a specific client. This paper gives the first attempt to explore user-level privacy leakage against the federated learning by the attack from a malicious server. We propose a framework incorporating GAN with a multi-task discriminator, which simultaneously discriminates category, reality, and client identity of input samples. The novel discrimination on client identity enables the generator to recover user specified private data. Unlike existing works that tend to interfere the training process of the federated learning, the proposed method works "invisibly" on the server side. The experimental results demonstrate the effectiveness of the proposed attacking approach and the superior to the state-of-the-art.

研究动机与目标

• 从恶意服务器视角动机研究联邦学习中的用户级隐私泄露。
• 提出一个通用、不可见的攻击框架（mGAN-AI），针对单个客户端而非全局类别代表进行攻击。
• 通过在 GAN 训练中对身份进行判别，实现对特定客户端数据的恢复。
• 在攻击过程中不修改联邦学习机制或共享模型，同时保持学习效用。

提出的方法

• 引入 mGAN-AI，一个具有真实/假判别器、类别分类器和客户端身份判别器的多任务 GAN。
• 在类别和客户端身份条件下训练生成器，以产生针对受害者的样本。
• 从更新（反向传播梯度）中估计客户端数据代表，用以监督身份判别任务。
• 以被动（不可见）攻击的方式，利用更新和共享模型而不干扰训练；提供一个主动变体，通过隔离受害者并在专门的共享模型上进行训练。
• 为真实/假、类别和身份任务制定目标函数，并推导 D 与 G 的更新规则。
• 描述使用优化与全变差正则化从更新中计算客户端代表 X_k 的方法。

实验结果

研究问题

• RQ1 在联邦学习中，恶意服务器能否在不改变训练过程的情况下恢复单个客户端的特定数据（用户级隐私）？
• RQ2 在 GAN 训练中加入客户端身份判别任务是否能实现对目标客户端数据的精确重建？
• RQ3 与现有的基于 GAN 的或模型反演攻击相比，所提出的 mGAN-AI 框架在获取客户端特定数据方面有多大效果？

主要发现

• mGAN-AI 使受害者条件下的样本生成成为可能，在 MNIST 和 AT&T 数据集上恢复了特定客户端的数据。
• 被动（不可见）攻击可以在不修改共享模型或训练过程的情况下进行。
• 主动变体通过隔离受害者并在专用的共享模型上训练，进一步提高攻击强度。
• 该方法利用从客户端更新中推断的客户端数据代表来监督身份判别。
• 与现有攻击相比，mGAN-AI 在现实联邦学习环境下显示出更强的重建能力。