[论文解读] Data Leakage in Federated Averaging

Dimitar I. Dimitrov, Mislav Balunović+2 more|arXiv (Cornell University)|Jun 24, 2022

Privacy-Preserving Technologies in Data被引用 15

一句话总结

该论文提出了一种基于优化的新型数据泄露攻击，针对联邦平均（FedAvg）算法，克服了隐藏的中间权重、多个本地小批量以及同时的标签-参数变化等挑战。通过结合自动微分以实现基于模拟的重建损失，以及一种与训练轮次顺序无关的先验，该方法在使用10个本地轮次和每轮10个批次的FEMNIST数据集上成功恢复了45%的图像，显著优于基线FedSGD攻击。

ABSTRACT

Recent attacks have shown that user data can be recovered from FedSGD updates, thus breaking privacy. However, these attacks are of limited practical relevance as federated learning typically uses the FedAvg algorithm. Compared to FedSGD, recovering data from FedAvg updates is much harder as: (i) the updates are computed at unobserved intermediate network weights, (ii) a large number of batches are used, and (iii) labels and network weights vary simultaneously across client steps. In this work, we propose a new optimization-based attack which successfully attacks FedAvg by addressing the above challenges. First, we solve the optimization problem using automatic differentiation that forces a simulation of the client's update that generates the unobserved parameters for the recovered labels and inputs to match the received client update. Second, we address the large number of batches by relating images from different epochs with a permutation invariant prior. Third, we recover the labels by estimating the parameters of existing FedSGD attacks at every FedAvg step. On the popular FEMNIST dataset, we demonstrate that on average we successfully recover >45% of the client's images from realistic FedAvg updates computed on 10 local epochs of 10 batches each with 5 images, compared to only <10% using the baseline. Our findings show many real-world federated learning implementations based on FedAvg are vulnerable.

研究动机与目标

• 识别并解决从FedAvg更新中恢复客户端数据的关键挑战，这些挑战由于中间权重变化和小批量多样性而比FedSGD更为复杂。
• 开发一种适用于具有多个本地轮次和小批量的实际FedAvg配置的实用数据泄露攻击。
• 通过估计标签计数并利用对轮次内小批量顺序不敏感的结构先验，提升重建准确性。
• 证明尽管FedAvg具有隐私保护设计，但其在现实系统中广泛应用，仍易受数据重建攻击影响。

提出的方法

• 该攻击使用自动微分模拟客户端的本地训练过程，通过优化虚拟输入和标签来匹配最终模型权重。
• 提出一种基于模拟的重建损失（$\mathcal{L}_{\text{sim}}$），以考虑本地更新过程中模型权重的变化。
• 引入一种与轮次顺序无关的先验（$\mathcal{L}_{\text{inv}}$），通过一个与顺序无关的函数 $g$（如均值或最大值）压缩图像序列，并在不同轮次间进行比较，以降低小批量复杂度。
• 通过受FedSGD启发的扩展方法估计标签计数（$\widetilde{\lambda}^c$），为重建过程提供信息，从而提升准确性。
• 将 $\mathcal{L}_{\text{sim}}$ 与 $\mathcal{L}_{\text{inv}}$ 结合，使用可学习权重 $\lambda_{\text{inv}}$ 平衡重建保真度与结构一致性。
• 在FEMNIST上使用 $g = \text{mean}$ 和 $D_{\text{inv}} = \ell_2$；在CIFAR100上使用 $g = \text{conv}+\max$ 与 $D_{\text{inv}} = \ell_2$，以增强特征级别的不变性。

实验结果

研究问题

• RQ1 尽管缺乏中间模型权重且存在多个本地小批量，是否仍能有效从FedAvg更新中重建数据？
• RQ2 当小批量序列未知且在不同轮次间变化时，与轮次顺序无关的先验如何提升重建质量？
• RQ3 将基于模拟的损失与结构先验结合，与现有基于FedSGD的攻击相比，在FedAvg上表现如何？
• RQ4 标签计数估计与特征级别先验在提升CIFAR100等复杂数据集的重建质量方面起到何种作用？
• RQ5 不同顺序无关函数与距离度量的选择如何影响最终的重建性能？

主要发现

• 所提出的攻击在真实FedAvg设置下（10个本地轮次、每轮10个批次、每批5张图像）成功在FEMNIST数据集上恢复了45%的客户端图像，而基线FedSGD攻击的恢复率不足10%。
• 使用与轮次顺序无关的先验显著提升了重建质量，尤其在CIFAR100上，随机卷积与最大池化结合的方案表现最佳。
• $\ell_2$ 距离与均值函数在所有实验中均优于 $\ell_1$ 和最大值函数，$\ell_2$ 在不同数据集上表现出更好的泛化能力。
• 在FEMNIST上，添加卷积特征并未提升性能，表明简单先验已足够应对简单数据集。
• 在CIFAR100上，$\text{conv}+\max$ 先验相比 $\text{mean}$ 将重建准确率提高了2.8个百分点，表明复杂特征提取在复杂数据上能显著提升性能。
• 消融实验表明，模拟损失与顺序无关先验均对重建成功有显著贡献，其中后者在缓解小批量顺序模糊性方面尤为有效。