[论文解读] Learning to Invert: Simple Adaptive Attacks for Gradient Inversion in Federated Learning

Ruihan Wu, Xiangyu Chen+2 more|arXiv (Cornell University)|Oct 19, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文提出了一种基于学习的梯度反演攻击方法——学习性反演（LTI），通过训练模型从联邦学习中的梯度重建客户端数据。与基于优化的攻击不同，LTI 将防御视为数据增强，从而自适应地应对各类防御机制，在视觉和自然语言处理任务中均实现了最先进性能，即使在差分隐私、梯度剪枝和符号压缩等防御机制下依然有效。

ABSTRACT

Gradient inversion attack enables recovery of training samples from model gradients in federated learning (FL), and constitutes a serious threat to data privacy. To mitigate this vulnerability, prior work proposed both principled defenses based on differential privacy, as well as heuristic defenses based on gradient compression as countermeasures. These defenses have so far been very effective, in particular those based on gradient compression that allow the model to maintain high accuracy while greatly reducing the effectiveness of attacks. In this work, we argue that such findings underestimate the privacy risk in FL. As a counterexample, we show that existing defenses can be broken by a simple adaptive attack, where a model trained on auxiliary data is able to invert gradients on both vision and language tasks.

研究动机与目标

• 证明联邦学习中现有针对梯度反演攻击的防御措施因依赖于基于优化的攻击评估而存在不足。
• 填补针对自适应、基于学习的攻击在不同防御机制间泛化能力评估的空白。
• 提出一种简单而有效的基于学习的攻击框架，可在多种梯度压缩与扰动防御机制下，泛化应用于视觉和语言任务。
• 表明即使在强防御机制（如差分隐私和梯度压缩）下，通过学习的反演模型仍可实现数据重建。
• 倡导将 LTI 作为评估联邦学习系统中隐私泄露问题的新基线。

提出的方法

• 使用与私有数据分布相似的辅助数据集，训练一个反演模型 $g_{\theta}$，实现从梯度到输入数据的映射。
• 利用全局模型对辅助数据计算梯度，从而实现反演模型的端到端训练。
• 在训练过程中将梯度压缩或扰动防御视为数据增强，使反演模型能够适应修改后的梯度空间。
• 将训练好的反演模型应用于联邦学习场景中的真实梯度，以恢复客户端输入，无需迭代优化。
• 通过引入语言建模先验，将方法扩展至离散数据（如文本），实现基于 token 的重建。
• 采用准确率和 FID 等指标评估性能，并与基于优化的基线方法（如 TAG 和 Zhu et al., 2019）进行对比。

实验结果

研究问题

• RQ1 在标准防御机制下，基于学习的方法是否能超越现有的基于优化的梯度反演攻击方法？
• RQ2 当应用差分隐私、梯度剪枝和符号压缩等防御机制时，所提出的 LTI 攻击效果如何？
• RQ3 当使用分布外的辅助数据（如通过随机采样生成的伪句子）进行训练时，反演模型的泛化能力有多强？
• RQ4 在不同防御机制下，LTI 在视觉和语言任务中的性能是下降还是提升？
• RQ5 LTI 是否可适配离散数据（如文本），并在各种梯度压缩方案下保持高重建质量？

主要发现

• 在未启用防御机制的 CIFAR-10 数据集上，使用 ResNet20 时，LTI 的恢复准确率与最佳基于优化的方法（如 Zhu et al., 2019）相当。
• 在梯度剪枝和符号压缩防御下，LTI 显著优于以往攻击方法，在符号压缩防御下于 CIFAR-10 上达到 87.34% 的准确率。
• 在 CoLA 文本分类任务中，LTI 在符号压缩防御下达到 86.19% 的准确率，优于 TAG 及其他基线方法在所有防御设置下的表现。
• 使用分布外辅助数据（如随机采样单词生成的伪句子）的 LTI-OOD 在 WikiText 上达到 87.39% 的准确率，部分场景下优于标准 LTI，表明其具备强大的泛化能力。
• 即使在应用防御机制的情况下，攻击依然有效，表明梯度压缩与扰动无法完全缓解隐私泄露问题。
• LTI 在不同模型架构和任务中均表现出鲁棒性，在视觉和自然语言处理任务中持续优于基于优化的方法。