[论文解读] A Survey on Gradient Inversion: Attacks, Defenses and Future Directions

Rui Zhang, Song Guo+3 more|arXiv (Cornell University)|Jun 15, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文首次对梯度反演（GradInv）攻击进行了全面综述，将其分类为基于迭代和基于递归的范式，并系统分析了数据初始化、模型训练和梯度匹配等关键组件。此外，本文还回顾了数据模糊化、模型改进和梯度保护等防御策略，并指出了未来研究方向，包括混合攻击、Transformer扩展以及隐私量化。

ABSTRACT

Recent studies have shown that the training samples can be recovered from gradients, which are called Gradient Inversion (GradInv) attacks. However, there remains a lack of extensive surveys covering recent advances and thorough analysis of this issue. In this paper, we present a comprehensive survey on GradInv, aiming to summarize the cutting-edge research and broaden the horizons for different domains. Firstly, we propose a taxonomy of GradInv attacks by characterizing existing attacks into two paradigms: iteration- and recursion-based attacks. In particular, we dig out some critical ingredients from the iteration-based attacks, including data initialization, model training and gradient matching. Second, we summarize emerging defense strategies against GradInv attacks. We find these approaches focus on three perspectives covering data obscuration, model improvement and gradient protection. Finally, we discuss some promising directions and open problems for further research.

研究动机与目标

• 为解决联邦学习与分布式学习中梯度反演（GradInv）攻击缺乏系统性综述的问题。
• 提出一种新颖的分类体系，将GradInv攻击划分为基于迭代和基于递归的范式。
• 分析基于迭代攻击的关键组件，包括数据初始化、模型训练和梯度匹配。
• 总结并重新分类新兴的防御策略，划分为数据模糊化、模型改进和梯度保护三类。
• 识别开放性问题，并提出GradInv未来研究方向，包括混合攻击、Transformer应用及隐私量化。

提出的方法

• 基于优化目标提出GradInv攻击的两级分类体系：基于迭代（迭代梯度最小化）和基于递归（逐层输入恢复）。
• 识别并分析基于迭代攻击中的三个核心组件：数据初始化（随机或启发式输入初始化）、模型训练（使用全局模型权重）以及梯度匹配（最小化生成梯度与真实梯度之间的L2或其他距离）。
• 系统调研并分类防御机制，从三个视角进行归纳：数据模糊化（如图像扰动）、模型改进（如鲁棒架构设计）以及梯度保护（如噪声注入、梯度压缩、基于符号的传输）。
• 将攻击建模为优化问题：在虚拟输入x'和y'上最小化||∇W' - ∇W||²，以重构原始数据。
• 在基于递归的攻击中，通过利用输入、参数与梯度之间的逐层关系，获得闭式解。
• 评估训练超参数（如本地迭代次数、批量大小）对隐私泄露和攻击成功率的影响。

实验结果

研究问题

• RQ1 如何基于其底层优化策略，对现有梯度反演攻击进行系统性分类？
• RQ2 影响基于迭代GradInv攻击成功率的关键技术组件是什么？它们如何影响重构质量？
• RQ3 针对GradInv攻击的主要防御策略有哪些？它们在有效性与计算成本方面有何差异？
• RQ4 结合基于迭代与基于递归方法的混合攻击，是否能提升复杂数据集上的重构速度或精度？
• RQ5 在现代架构（如Transformer）中存在哪些隐私风险？如何对这些风险进行量化？

主要发现

• 将GradInv攻击划分为基于迭代和基于递归的范式，为理解攻击机制和引导未来研究提供了更清晰的框架。
• 数据初始化、模型训练和梯度匹配是基于迭代攻击的关键要素，其中初始化策略对重构保真度有显著影响。
• 防御策略虽有效，但常存在权衡：噪声注入可保护隐私，但可能降低模型准确率；而梯度压缩或基于符号的传输虽能减少泄露，却增加了通信开销。
• 现有防御方法如差分隐私和梯度扰动虽有效，但需仔细调节噪声水平以在隐私与实用性之间取得平衡。
• 互信息和V-information等定量指标可用于评估层间隐私泄露，为梯度共享中的风险量化提供可行路径。
• 将GradInv扩展至Transformer仍是一个开放挑战，目前仅有初步工作表明其在自注意力模块中具备理论与实证可行性。