[论文解读] A Novel Attribute Reconstruction Attack in Federated Learning

Lingjuan Lyu, Chen Chen|arXiv (Cornell University)|Aug 16, 2021

Privacy-Preserving Technologies in Data参考文献 15被引用 13

一句话总结

本文提出了一种联邦学习中新型的属性重建攻击（ARA），其中恶意服务器能够从周期平均梯度中重建敏感属性——相比以往使用小批量梯度的攻击，更具现实性。该工作提出cos-matching方法，一种利用余弦相似度进行梯度匹配的技术，在各种威胁模型下（包括未知先验和缺失标签）于真实世界数据集上实现了最先进性能。

ABSTRACT

Federated learning (FL) emerged as a promising learning paradigm to enable a multitude of participants to construct a joint ML model without exposing their private training data. Existing FL designs have been shown to exhibit vulnerabilities which can be exploited by adversaries both within and outside of the system to compromise data privacy. However, most current works conduct attacks by leveraging gradients on a small batch of data, which is less practical in FL. In this work, we consider a more practical and interesting scenario in which participants share their epoch-averaged gradients (share gradients after at least 1 epoch of local training) rather than per-example or small batch-averaged gradients as in previous works. We perform the first systematic evaluation of attribute reconstruction attack (ARA) launched by the malicious server in the FL system, and empirically demonstrate that the shared epoch-averaged local model gradients can reveal sensitive attributes of local training data of any victim participant. To achieve this goal, we develop a more effective and efficient gradient matching based method called cos-matching to reconstruct the training data attributes. We evaluate our attacks on a variety of real-world datasets, scenarios, assumptions. Our experiments show that our proposed method achieves better attribute attack performance than most existing baselines.

研究动机与目标

• 探究联邦学习中周期平均梯度是否可能泄露敏感属性，以填补实际威胁模型中的研究空白。
• 开发一种比现有基于梯度的攻击更高效、更有效的重建方法，尤其适用于完整周期训练的现实联邦学习场景。
• 系统性地评估在不同攻击者先验知识水平下的ARA表现：已知/未知先验分布、成员身份信息、真实标签。
• 证明即使攻击者缺乏完整数据或标签信息，仍可高精度重建敏感属性。
• 通过揭示梯度共享中的漏洞，为设计隐私保护型联邦学习系统提供洞见。

提出的方法

• 提出cos-matching方法，一种基于余弦相似度的梯度匹配技术，通过比较受害者真实梯度更新与虚拟梯度更新之间的余弦相似度来引导重建过程。
• 采用迭代优化方法，最小化虚拟梯度与真实梯度之间的夹角距离，从而实现高精度的属性推断。
• 支持多种威胁模型：已知/未知先验分布、已知/未知成员身份、已知/未知真实标签。
• 当真实标签未知时，整合虚拟属性与标签优化，实现端到端的属性恢复。
• 使用真实世界数据集（如Location、Purchase、Genome）在多样化假设下评估性能。
• 采用多轮梯度观测策略，通过利用模型更新中的时间一致性，提升重建保真度。

实验结果

研究问题

• RQ1 恶意服务器是否能在无法访问小批量梯度的情况下，从联邦学习的周期平均梯度中重建敏感属性？
• RQ2 在不同水平的攻击者先验知识（如先验分布、成员身份、真实标签）下，属性重建性能如何变化？
• RQ3 cos-matching在现实联邦学习场景中是否比现有基于梯度的重建方法更有效且更高效？
• RQ4 当先验分布未知或标签不可用时，攻击性能如何退化？
• RQ5 本地小批量大小和数据分布对属性重建成功率有何影响？

主要发现

• 在Location数据集中，当先验未知且B=|Dv|时，cos-matching在第一个属性上实现了94.00%的属性重建准确率，优于基线方法。
• 在Purchase100数据集中，当|Dv|=500且B=|Dv|时，该方法在第130个属性上达到94.00%的准确率，显著超过Nasr等人（2019）提出的73.4%基线。
• 当真实标签未知但先验已知时，该方法在Purchase2和Genome数据集上均实现了100%的标签重建准确率。
• 使用cos-matching进行的成员身份推断攻击在50个采样记录上达到了99.00%的准确率，优于73.4%的基线水平。
• 即使在先验未知且B=8的情况下，该方法在Location数据集的第一个属性上仍保持86.00%的准确率，展现出在最小假设下的鲁棒性。
• 在所有设置中，包括先验和标签信息缺失时，该攻击性能始终显著高于基线方法（随机、public100、public1000、stats）。