[论文解读] Gradient Disaggregation: Breaking Privacy in Federated Learning by Reconstructing the User Participant Matrix

Maximilian Lam, Gu-Yeon Wei+3 more|arXiv (Cornell University)|Jun 10, 2021

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文提出了一种梯度解耦攻击，通过利用通过设备分析收集的侧信道信息——特别是参与频率指标——从聚合的联邦学习更新中重构单个用户的模型更新。该方法破坏了安全聚合的隐私保障，即使在存在噪声的FedAvg更新下，也能对数千名用户实施高保真度的推理攻击。

ABSTRACT

We show that aggregated model updates in federated learning may be insecure. An untrusted central server may disaggregate user updates from sums of updates across participants given repeated observations, enabling the server to recover privileged information about individual users' private training data via traditional gradient inference attacks. Our method revolves around reconstructing participant information (e.g: which rounds of training users participated in) from aggregated model updates by leveraging summary information from device analytics commonly used to monitor, debug, and manage federated learning systems. Our attack is parallelizable and we successfully disaggregate user updates on settings with up to thousands of participants. We quantitatively and qualitatively demonstrate significant improvements in the capability of various inference attacks on the disaggregated updates. Our attack enables the attribution of learned properties to individual users, violating anonymity, and shows that a determined central server may undermine the secure aggregation protocol to break individual users' data privacy in federated learning.

研究动机与目标

• 证明当不受信的服务器收集侧信道设备分析数据时，联邦学习中的安全聚合会面临隐私泄露风险。
• 研究是否可以通过重复观察聚合的模型更新并结合参与频率数据，来重构个体用户的私有模型更新。
• 评估梯度解耦对传统推理攻击（如梯度反演和属性推理）成功率的影响。
• 揭示在联邦学习系统中收集汇总设备分析数据的风险，这些数据可能成为隐私泄露的隐蔽信道。

提出的方法

• 将梯度解耦建模为带有约束的二值矩阵分解问题，从聚合的模型更新和侧信道分析中恢复用户参与矩阵。
• 利用多个训练轮次中对聚合模型更新的重复观测，推断个体用户的贡献。
• 利用设备级别的分析数据（如参与频率）来约束解空间，提升重构精度。
• 将该解耦方法应用于精确梯度和带有噪声的FedAvg更新，证明其在真实场景下的鲁棒性。
• 将恢复的个体更新作为标准推理攻击（如梯度反演、属性推理）的输入，以评估隐私泄露程度。
• 在参与用户达数千人的数据集上验证该方法，结果表明在理想条件下可实现用户更新的精确重构。

实验结果

研究问题

• RQ1 不受信的中央服务器是否仅通过侧信道参与度指标，就能从聚合更新中重构出单个用户的模型更新？
• RQ2 梯度解耦在多大程度上提升了现有推理攻击（如梯度反演和属性推理）的性能？
• RQ3 在存在噪声（如FedAvg训练引入的噪声）的情况下，梯度解耦的有效性如何？
• RQ4 当服务器在多个轮次中拥有设备参与频率数据时，安全聚合协议是否仍能保持隐私？
• RQ5 从隐私角度出发，收集联邦学习系统中的设备分析数据具有哪些实际影响？

主要发现

• 所提出的梯度解耦攻击成功从聚合更新中重构出多达数千名参与用户的模型更新，在理想条件下实现了精确恢复。
• 通过梯度解耦，梯度反演攻击在100名用户聚合的更新上对真实值的PSNR达到18.6，显著高于未解耦情况下的13.3。
• 在应用解耦的情况下，属性推理攻击的AUC得分保持在0.9以上，且随用户数量增加而稳定；而未应用解耦时，AUC迅速下降。
• 该方法可从聚合了100名用户FedAvg更新中实现高质量图像重构（PSNR 18.6），表明平均化引入的噪声并不会阻碍有效解耦。
• 解耦使对单个用户的推理攻击性能等同于攻击单一用户，即使更新是跨多名用户聚合的。
• 即使聚合更新存在噪声，该攻击依然有效，表明其对FedAvg等实际训练动态具有鲁棒性。