[论文解读] Inverting Gradients -- How easy is it to break privacy in federated learning?

Jonas Geiping, Hartmut Bauermeister+2 more|arXiv (Cornell University)|Mar 31, 2020

Adversarial Robustness in Machine Learning被引用 389

一句话总结

该论文证明在联邦学习中，即使在现代深度架构和在跨多个图像或时期进行梯度平均后，输入数据也可以从梯度信息中重构。

ABSTRACT

The idea of federated learning is to collaboratively train a neural network on a server. Each user receives the current weights of the network and in turns sends parameter updates (gradients) based on local data. This protocol has been designed not only to train neural networks data-efficiently, but also to provide privacy benefits for users, as their input data remains on device and only parameter gradients are shared. But how secure is sharing parameter gradients? Previous attacks have provided a false sense of security, by succeeding only in contrived settings - even for a single image. However, by exploiting a magnitude-invariant loss along with optimization strategies based on adversarial attacks, we show that is is actually possible to faithfully reconstruct images at high resolution from the knowledge of their parameter gradients, and demonstrate that such a break of privacy is possible even for trained deep networks. We analyze the effects of architecture as well as parameters on the difficulty of reconstructing an input image and prove that any input to a fully connected layer can be reconstructed analytically independent of the remaining architecture. Finally we discuss settings encountered in practice and show that even averaging gradients over several iterations or several images does not protect the user's privacy in federated learning applications in computer vision.

研究动机与目标

• 在仅共享梯度的联邦学习中激发并形式化隐私风险。
• 证明梯度包含可从私有输入中恢复的信息，包括对训练过的深度网络。
• 开发基于分析和优化的方法从梯度中恢复输入。
• 评估网络架构、训练状态和梯度平均如何影响重构风险。
• 讨论对隐私保护学习的实际影响及局限性。

提出的方法

• 从理论上分析参数梯度的信息内容，并对 全连接层的输入给出解析重构的可能性。
• 提出基于余弦相似度的目标函数，结合图像先验（Total Variation），并使用 Adam 进行优化以从梯度重构输入。
• 将所提的基于余弦的攻击与先前基于欧氏距离的重构（LBFGS）在不同体系结构和训练状态下进行对比。
• 在浅层/未训练与训练过的深度网络（如 ResNet 变体）以及 ImageNet 规模数据上进行单图像重构的经验评估。
• 将分析扩展到 federated averaging 和多图像设置，包括本地 epoch、批量大小，以及在多张图像上的梯度平均。
• 讨论缓解措施以及差分隐私或安全聚合的必要性。

实验结果

研究问题

• RQ1 在常见的联邦学习设置中（包括深度网络），输入能否从梯度中被唯一重构？
• RQ2 网络架构、训练状态（训练过与未训练）以及层类型如何影响基于梯度的重构难度？
• RQ3 对多张图像或多次本地epoch的梯度平均是否能在联邦学习中保护隐私？
• RQ4 在现实的 federated averaging 场景中存在什么实际的输入恢复界限？（B、E、n 等）
• RQ5 是否存在通过架构或训练方法来缓解梯度泄漏的防御措施？

主要发现

• 输入数据可以从梯度中重构，即使是已训练的深度网络，也不仅限于浅层或未训练的模型。
• 对任何全连接层的输入都存在解析重构的可能性，与其他架构细节无关（在非零梯度条件下）。
• 基于余弦相似度的重构目标结合图像先验在可辨识的重构方面优于欧氏损失的 LBFGS 方法，尤其在训练过的网络中表现明显。
• 在多张图像或若干本地 epoch 上的梯度平均并不能完全防止隐私泄露；在实际中仍有部分图像可以被重构。
• 增大网络宽度或深度可能影响重构质量，但不会本质上阻止泄漏；更宽的网络可能需要更多的重新启动来优化。