[论文解读] LOKI: Large-scale Data Reconstruction Attack against Federated Learning through Model Manipulation

Joshua C. Zhao, Atul Sharma+4 more|arXiv (Cornell University)|Mar 21, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

LOKI 是一种针对联邦学习的新颖数据重建攻击，通过向全局模型注入定制的卷积核，使恶意服务器在使用安全聚合的 FedAVG 中恢复 76–86% 的客户端数据。该攻击利用身份映射层实现梯度分离，绕过安全聚合机制，实现大规模、高保真度的数据重建，且不会引发模型不一致性或对攻击时机的先验知识要求。

ABSTRACT

Federated learning was introduced to enable machine learning over large decentralized datasets while promising privacy by eliminating the need for data sharing. Despite this, prior work has shown that shared gradients often contain private information and attackers can gain knowledge either through malicious modification of the architecture and parameters or by using optimization to approximate user data from the shared gradients. However, prior data reconstruction attacks have been limited in setting and scale, as most works target FedSGD and limit the attack to single-client gradients. Many of these attacks fail in the more practical setting of FedAVG or if updates are aggregated together using secure aggregation. Data reconstruction becomes significantly more difficult, resulting in limited attack scale and/or decreased reconstruction quality. When both FedAVG and secure aggregation are used, there is no current method that is able to attack multiple clients concurrently in a federated learning setting. In this work we introduce LOKI, an attack that overcomes previous limitations and also breaks the anonymity of aggregation as the leaked data is identifiable and directly tied back to the clients they come from. Our design sends clients customized convolutional parameters, and the weight gradients of data points between clients remain separate even through aggregation. With FedAVG and aggregation across 100 clients, prior work can leak less than 1% of images on MNIST, CIFAR-100, and Tiny ImageNet. Using only a single training round, LOKI is able to leak 76-86% of all data samples.

研究动机与目标

• 为解决在真实条件下（包括 FedAVG 和安全聚合）联邦学习中缺乏可扩展、高保真度数据重建攻击的问题。
• 克服先前攻击方法在扩展性上的局限，即无法超越单个客户端或小批量大小的限制。
• 使恶意服务器能够在保持隐蔽性的同时，从聚合梯度中重建私有数据，避免因模型不一致性而被检测。
• 证明当模型参数被服务器操纵时，安全聚合并不能完全防止数据泄露。
• 表明即使应用了差分隐私，若在所有训练步骤中均匀应用，该攻击仍具有效性，因为梯度泄露持续存在。

提出的方法

• 服务器在将全局模型发送给客户端之前，注入一个具有身份映射特性的定制卷积层，确保每个客户端的权重梯度在聚合后仍保持可分离性。
• 每个客户端的模型均通过一个独特的卷积核进行修改，该核将输入特征映射到共享潜在空间，从而在聚合过程中保留客户端特定的梯度信号。
• 攻击利用最后一层卷积层及后续全连接层作为泄露模块，实现从梯度中精确重建输入数据。
• 该方法使用卷积缩放因子以维持梯度可分离性，并在客户端进行多轮本地训练时仍避免模型不一致性。
• 服务器通过求解基于共享梯度和已知注入卷积层结构的线性系统来重建数据。
• 该攻击设计为隐蔽性高，因为注入的层可隐藏在 ResNet 或 VGG 等标准架构中，使计算验证能力有限的客户端难以检测。

实验结果

研究问题

• RQ1 恶意服务器是否能在 FedAVG 与安全聚合环境下，大规模重建私有客户端数据，而此前的攻击因梯度混合而失效？
• RQ2 服务器如何在避免模型不一致性与检测的同时，维持高重建质量？
• RQ3 何种架构修改可实现在安全聚合下跨多个客户端的梯度分离？
• RQ4 该攻击在客户端数量和本地数据集规模增加时，其可扩展性如何？
• RQ5 当差分隐私在所有训练步骤中均匀应用时，该攻击是否仍具有效性？

主要发现

• 在 FedAVG 与安全聚合环境下，仅使用 100 个客户端进行单轮训练，LOKI 在 MNIST、CIFAR-100 和 Tiny ImageNet 上实现了 76–86% 的数据泄露率。
• 该攻击优于当前最先进水平，在相同条件下泄露数据不足 1%，表明重建规模提升 76 倍至 86 倍。
• 即使在最大池化操作后，该方法仍保持高重建质量，内容清晰度得以保留，尽管存在分辨率损失。
• 该攻击随客户端数量和本地数据集规模线性扩展，因为所需模型参数随规模线性增长，而非零参数数量保持不变。
• 即使应用差分隐私，LOKI 仍具有效性，尽管噪声注入导致模型准确率下降，凸显了隐私与效用之间的权衡。
• 该攻击无需模型不一致性或重复迭代，可在单轮内完成，无需迭代优化或盲源分离。