[论文解读] Cocktail Party Attack: Breaking Aggregation-Based Privacy in Federated Learning using Independent Component Analysis

Sanjay Kariyappa, Chuan Guo+5 more|arXiv (Cornell University)|Sep 12, 2022

Geophysical Methods and Applications被引用 5

一句话总结

本文提出了一种名为鸡尾酒会攻击（Cocktail Party Attack, CPA）的新颖梯度反演攻击，通过将问题建模为使用独立成分分析（ICA）的盲源分离问题，从联邦学习中的聚合梯度中恢复出私有输入。CPA 即使在较大的批量大小（最高达 1024）下也能成功恢复出高质量图像，优于先前的方法，表明仅靠聚合并不能确保联邦学习中的隐私安全。

ABSTRACT

Federated learning (FL) aims to perform privacy-preserving machine learning on distributed data held by multiple data owners. To this end, FL requires the data owners to perform training locally and share the gradient updates (instead of the private inputs) with the central server, which are then securely aggregated over multiple data owners. Although aggregation by itself does not provably offer privacy protection, prior work showed that it may suffice if the batch size is sufficiently large. In this paper, we propose the Cocktail Party Attack (CPA) that, contrary to prior belief, is able to recover the private inputs from gradients aggregated over a very large batch size. CPA leverages the crucial insight that aggregate gradients from a fully connected layer is a linear combination of its inputs, which leads us to frame gradient inversion as a blind source separation (BSS) problem (informally called the cocktail party problem). We adapt independent component analysis (ICA)--a classic solution to the BSS problem--to recover private inputs for fully-connected and convolutional networks, and show that CPA significantly outperforms prior gradient inversion attacks, scales to ImageNet-sized inputs, and works on large batch sizes of up to 1024.

研究动机与目标

• 挑战联邦学习中大批次梯度聚合能提供有意义隐私保护的假设。
• 开发一种在大批次下仍能有效运行的实用梯度反演攻击，而此前的攻击方法在大批次下会失效。
• 证明全连接层中聚合梯度与输入之间的线性关系可被有效用于输入恢复。
• 通过嵌入恢复与特征反演技术，将攻击扩展至卷积神经网络。
• 评估 CPA 相较于先前梯度匹配攻击的有效性，并评估其可扩展性与鲁棒性。

提出的方法

• 利用全连接层的聚合梯度是输入数据样本线性组合的洞察。
• 将梯度反演问题建模为盲源分离（BSS）任务，受经典鸡尾酒会问题的启发。
• 应用独立成分分析（ICA）以估计一个解混矩阵，从而从混合梯度中恢复原始输入。
• 通过首先从最后一层全连接层恢复每个样本的嵌入，将攻击扩展至卷积网络。
• 利用特征反演技术从恢复的嵌入中重构输入图像，仅依赖于平滑性等图像先验。
• 将 CPA 与梯度匹配结合，以进一步提升重建质量，尤其在高维设置下表现更优。

实验结果

研究问题

• RQ1 当批量大小非常大时，梯度反演攻击是否仍能从聚合梯度中恢复出私有输入？
• RQ2 全连接层中输入与聚合梯度之间的线性关系是否可被用于输入重建？
• RQ3 基于 ICA 的方法在重建质量与可扩展性方面是否优于基于梯度匹配的攻击？
• RQ4 CPA 在 ImageNet 等大规模数据集上对高维输入的攻击效果如何？
• RQ5 CPA 在批量大小与嵌入维度方面的局限性是什么？如何缓解这些局限？

主要发现

• CPA 在 CIFAR-10、Tiny-ImageNet 和 ImageNet 上成功从批量大小最高达 1024 的聚合梯度中恢复出高质量图像。
• CPA+特征反演（CP+FI）在批量大小为 32 时的 LPIPS 得分为 0.483，且在所有测试的批量大小下均保持在 0.51 以下，表明性能稳定。
• CPA+FI+梯度匹配在批量大小为 32 时将 LPIPS 得分降低至 0.392，优于仅使用梯度匹配（0.536），显示出更优的重建质量。
• 该攻击具有高效可扩展性：CPA 的内存占用与输入维度无关，可在不发生 OOM 错误的情况下处理最高达 1024 的批量大小，而梯度匹配在批量大小为 512 时即已失败。
• 使用高斯噪声（σ = 0.01）的差分隐私将 CPA 和 GM 的 LPIPS 得分均降低至约 0.72，表明 DP 是一种有效的防御手段。
• 即使攻击者不了解输入数据分布，仅依赖于标准图像先验（如平滑性），该攻击依然有效。