[论文解读] User Label Leakage from Gradients in Federated Learning.

Aidmar Wainakh, Fabrizio Ventola+7 more|arXiv (Cornell University)|May 19, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用 11

一句话总结

本文提出了一种名为从梯度中泄露标签（Label Leakage from Gradients, LLG）的新颖攻击方法，通过分析联邦学习中共享梯度的方向与大小，从共享模型梯度中提取用户标签信息。该攻击在训练初期即实现了高精度的标签恢复，表明尽管联邦学习具有隐私保护的假设，但梯度共享仍会泄露敏感的标签数据。

ABSTRACT

Federated learning enables multiple users to build a joint model by sharing their model updates (gradients), while their raw data remains local on their devices. In contrast to the common belief that this provides privacy benefits, we here add to the very recent results on privacy risks when sharing gradients. Specifically, we propose Label Leakage from Gradients (LLG), a novel attack to extract the labels of the users' training data from their shared gradients. The attack exploits the direction and magnitude of gradients to determine the presence or absence of any label. LLG is simple yet effective, capable of leaking potential sensitive information represented by labels, and scales well to arbitrary batch sizes and multiple classes. We empirically and mathematically demonstrate the validity of our attack under different settings. Moreover, empirical results show that LLG successfully extracts labels with high accuracy at the early stages of model training. We also discuss different defense mechanisms against such leakage. Our findings suggest that gradient compression is a practical technique to prevent our attack.

研究动机与目标

• 探究联邦学习中共享梯度是否可能泄露用户本地数据中的敏感标签信息。
• 挑战联邦学习中梯度共享可保护用户隐私的普遍假设。
• 开发一种实用且可扩展的从梯度中重建标签的方法。
• 在各种训练条件和模型架构下评估该攻击的有效性。
• 探索防御机制，特别是梯度压缩，以减轻标签泄露。

提出的方法

• LLG 通过分析梯度的方向与大小，推断特定标签在用户训练数据中是否存在。
• 该攻击利用多个训练步骤中梯度更新的统计模式，重建标签分布。
• 其操作无需访问原始数据或模型参数，仅依赖共享梯度。
• 该方法被设计为可高效扩展至任意批量大小和多分类任务。
• 通过数学分析与实证评估验证攻击的可行性与准确性。
• 评估梯度压缩作为防御机制，以减少梯度中的信息泄露。

实验结果

研究问题

• RQ1 能否从联邦学习的共享梯度中重建标签信息？
• RQ2 该标签泄露攻击在模型训练的不同阶段准确度如何？
• RQ3 该攻击是否可扩展至大批次大小和多分类场景？
• RQ4 哪些关键的梯度特性使得标签泄露成为可能？
• RQ5 梯度压缩能否在不损害模型性能的前提下有效防止标签泄露？

主要发现

• LLG 在联邦模型训练的早期阶段即可高精度地提取标签。
• 该攻击利用梯度方向与大小推断标签存在性，即使无原始数据访问权限亦可实现。
• 尽管联邦学习的设计目标是保护数据隐私，但标签泄露仍会发生。
• 该攻击在不同批量大小和多分类分类任务中均有效。
• 梯度压缩被证明是针对 LLG 的一种实用且有效的防御机制。
• 数学与实证分析证实了标签泄露攻击的鲁棒性与可扩展性。