[论文解读] Gradient Obfuscation Gives a False Sense of Security in Federated Learning

Kai Yue, Richeng Jin+3 more|arXiv (Cornell University)|Jun 8, 2022

Privacy-Preserving Technologies in Data被引用 13

一句话总结

本文提出了一种联邦学习中的新型重建攻击框架，表明梯度混淆技术（如量化、稀疏化和噪声注入）并不能可靠地保护客户端隐私。与先前假设相反，作者证明这些技术仍可能泄露语义级信息，挑战了现有的评估指标，并呼吁重新审视联邦学习系统中的隐私保护防御机制。

ABSTRACT

Federated learning has been proposed as a privacy-preserving machine learning framework that enables multiple clients to collaborate without sharing raw data. However, client privacy protection is not guaranteed by design in this framework. Prior work has shown that the gradient sharing strategies in federated learning can be vulnerable to data reconstruction attacks. In practice, though, clients may not transmit raw gradients considering the high communication cost or due to privacy enhancement requirements. Empirical studies have demonstrated that gradient obfuscation, including intentional obfuscation via gradient noise injection and unintentional obfuscation via gradient compression, can provide more privacy protection against reconstruction attacks. In this work, we present a new data reconstruction attack framework targeting the image classification task in federated learning. We show that commonly adopted gradient postprocessing procedures, such as gradient quantization, gradient sparsification, and gradient perturbation, may give a false sense of security in federated learning. Contrary to prior studies, we argue that privacy enhancement should not be treated as a byproduct of gradient compression. Additionally, we design a new method under the proposed framework to reconstruct the image at the semantic level. We quantify the semantic privacy leakage and compare with conventional based on image similarity scores. Our comparisons challenge the image data leakage evaluation schemes in the literature. The results emphasize the importance of revisiting and redesigning the privacy protection mechanisms for client data in existing federated learning algorithms.

研究动机与目标

• 挑战梯度混淆技术（如量化和稀疏化）在联邦学习中固有地保护客户端隐私的假设。
• 开发一种新型重建攻击框架，即使在应用常见梯度后处理方法的情况下，也能实现高质量的图像恢复。
• 引入语义级图像重建，并评估超越传统像素级相似性度量的隐私泄漏。
• 质疑当前图像相似性评分（如SSIM）作为联邦学习中数据隐私泄漏充分度量的合理性。
• 倡导对联邦学习算法中的隐私保护机制进行根本性重新设计。

提出的方法

• 作者设计了一种重建攻击框架，通过可微分的图像生成过程，迭代优化输入图像以匹配服务器接收到的梯度。
• 在攻击流程中引入了QSGD（量化随机梯度下降）和Top-k稀疏化等梯度后处理技术，以模拟真实的联邦学习环境。
• 通过利用预训练的多标签分类模型提取物体标签，并将这些标签用作攻击优化中的监督信号，实现了语义级重建。
• 攻击使用结合像素级重建损失和基于预测与真实物体标签之间Jaccard相似度的语义相似度损失的损失函数。
• 该框架同时使用传统度量（SSIM）和新的语义相似度度量来评估隐私泄漏，从而实现对不同防御策略的比较。
• 该方法在标准数据集上的图像分类任务中进行了测试，并对多种防御配置进行了消融研究。

实验结果

研究问题

• RQ1 梯度混淆技术（如量化和稀疏化）是否真的能防止联邦学习中的数据重建攻击？
• RQ2 现有图像相似性度量（如SSIM）在多大程度上无法捕捉重建图像中的有意义隐私泄漏？
• RQ3 即使像素级保真度较低，语义级重建是否仍能揭示私密信息？
• RQ4 梯度后处理与语义监督的结合如何影响重建攻击的成功率？
• RQ5 当前评估方案在衡量联邦学习中隐私泄漏方面存在哪些局限性？

主要发现

• 所提出的攻击能够从量化和稀疏化的梯度中成功重建出高质量图像，表明此类混淆技术无法阻止重建攻击。
• 即使SSIM值较低（例如0.285和0.334），攻击仍实现了较高的语义相似度（Jaccard = 0.6），表明在语义层面存在有意义的隐私泄漏。
• 该攻击对现有通过扰动梯度或特征来实现的防御方案依然有效，表明这些防御措施在隐私保护方面不足。
• 语义级重建即使在像素级重建失败的情况下，也能揭示如物体和场景上下文等私密内容，挑战了SSIM作为隐私度量的充分性。
• 在复杂场景或涉及人脸的情况下，攻击可能无法重建出身份信息，突显了在特定条件下语义恢复的局限性。
• 研究结论认为，梯度混淆不应默认被视为隐私保护机制，当前防御措施可能带来虚假的安全感。