[论文解读] Deep Leakage from Model in Federated Learning

Zihao Zhao, Mengen Luo+1 more|arXiv (Cornell University)|Jun 10, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了两种新颖的攻击框架——Deep Leakage from Model（DLM）和DLM+，通过仅利用传输的模型权重和损失函数，无需梯度信息或辅助参数，即可在联邦学习中恢复私有的客户端训练数据。与现有的基于梯度的泄露方法相比，该攻击实现了更高的准确率，表明即使在广泛使用的FedAvg设置下，联邦学习中的模型权重传输也存在安全隐患。

ABSTRACT

Distributed machine learning has been widely used in recent years to tackle the large and complex dataset problem. Therewith, the security of distributed learning has also drawn increasing attentions from both academia and industry. In this context, federated learning (FL) was developed as a "secure" distributed learning by maintaining private training data locally and only public model gradients are communicated between. However, to date, a variety of gradient leakage attacks have been proposed for this procedure and prove that it is insecure. For instance, a common drawback of these attacks is shared: they require too much auxiliary information such as model weights, optimizers, and some hyperparameters (e.g., learning rate), which are difficult to obtain in real situations. Moreover, many existing algorithms avoid transmitting model gradients in FL and turn to sending model weights, such as FedAvg, but few people consider its security breach. In this paper, we present two novel frameworks to demonstrate that transmitting model weights is also likely to leak private local data of clients, i.e., (DLM and DLM+), under the FL scenario. In addition, a number of experiments are performed to illustrate the effect and generality of our attack frameworks. At the end of this paper, we also introduce two defenses to the proposed attacks and evaluate their protection effects. Comprehensively, the proposed attack and defense schemes can be applied to the general distributed learning scenario as well, just with some appropriate customization.

研究动机与目标

• 探究在模型权重被认为比梯度更安全的前提下，联邦学习中传输的模型权重是否仍可能泄露客户端的私有训练数据。
• 开发新型攻击框架，仅使用模型参数和损失函数恢复私有训练数据，无需模型梯度、优化器或超参数。
• 在包含非独立同分布（non-IID）数据和多个本地迭代的现实联邦学习设置下，评估所提攻击的鲁棒性。
• 提出并评估针对联邦学习中模型参数泄露的实用防御措施——差分隐私和模型稀疏化。

提出的方法

• 在DLM中提出一种新颖的损失函数，通过利用权重与损失函数之间的关系，实现仅从模型权重中重建数据，从而绕过对梯度的依赖。
• 提出DLM+，作为DLM的增强版本，通过改进的优化策略和额外的正则化手段，提升重建质量。
• 将两种框架应用于FedAvg——一种标准的联邦学习算法，以在仅交换模型权重的真实场景中验证其可行性。
• 采用无梯度的优化过程，通过迭代生成合成输入，使其与观测到的模型权重相匹配，同时将损失函数作为监督信号。
• 通过在传输前对模型权重进行裁剪并添加高斯或拉普拉斯噪声，实施差分隐私，以评估其防护效果。
• 通过剪枝低幅度权重的方式实施模型稀疏化，以减少信息泄露，并评估其对攻击的抵抗能力。

实验结果

研究问题

• RQ1 在联邦学习中，仅凭模型权重是否可以重建出私有训练数据，而无需访问梯度或辅助参数？
• RQ2 所提出的DLM和DLM+攻击在性能上与现有的基于梯度的泄露攻击（如DLG和余弦相似度方法）相比如何？
• RQ3 本地训练迭代次数和优化器选择对模型参数泄露攻击成功率有何影响？
• RQ4 针对模型参数泄露的有效防御机制有哪些？何种阈值可确保充分保护？

主要发现

• DLM和DLM+在MLP和LeNet架构上均显著优于现有基于梯度的泄露攻击，表现出更高的PSNR和SSIM值，证明了其更优的重建质量。
• 即使在非独立同分布（non-IID）数据分布和多个本地训练迭代条件下，攻击仍保持有效，表明其在真实联邦学习环境中的强鲁棒性。
• 当差分隐私的高斯噪声强度为1e-4时，可有效干扰攻击；而更高噪声水平（如>1e-4）则可完全阻止准确的数据恢复。
• 当稀疏化率超过50%时，模型稀疏化可有效减少泄露，但DLM+在1%稀疏度下仍表现出较差的抗性，表明其防御效果有限。
• 即使在模型权重被稀疏化至50%的情况下，所提攻击仍能成功重建出可识别的训练数据，凸显了基于权重的联邦学习系统的根本性脆弱性。
• 本研究揭示，联邦学习中的模型权重传输本质上是不安全的，挑战了其比梯度传输更安全的普遍假设。