[论文解读] Layer-wise Characterization of Latent Information Leakage in Federated Learning

Fan Mo, Anastasia Borovykh+3 more|arXiv (Cornell University)|Oct 17, 2020

Privacy-Preserving Technologies in Data参考文献 65被引用 12

一句话总结

该论文提出了两种新颖度量——$Π$-信息量与梯度敏感性，用于量化联邦学习中逐层潜在信息泄露，表明可用隐私风险（而不仅仅是香农互信息）在深层网络中增加。这些度量能够有效定位易受攻击的层，并与属性推断攻击的成功率高度相关，验证了其在超越传统信息度量的模型隐私评估中的有效性。

ABSTRACT

Training deep neural networks via federated learning allows clients to share, instead of the original data, only the model trained on their data. Prior work has demonstrated that in practice a client's private information, unrelated to the main learning task, can be discovered from the model's gradients, which compromises the promised privacy protection. However, there is still no formal approach for quantifying the leakage of private information via the shared updated model or gradients. In this work, we analyze property inference attacks and define two metrics based on (i) an adaptation of the empirical $\mathcal{V}$-information, and (ii) a sensitivity analysis using Jacobian matrices allowing us to measure changes in the gradients with respect to latent information. We show the applicability of our proposed metrics in localizing private latent information in a layer-wise manner and in two settings where (i) we have or (ii) we do not have knowledge of the attackers' capabilities. We evaluate the proposed metrics for quantifying information leakage on three real-world datasets using three benchmark models.

研究动机与目标

• 为解决缺乏正式度量以量化联邦学习中通过梯度泄露的潜在信息泄露问题。
• 识别深度神经网络中哪些层对属性推断攻击（PIAs）最为脆弱。
• 开发能够捕捉‘可用’信息（与攻击相关）而非仅总信息流的度量。
• 在已知和未知攻击者能力设置下，使用真实数据集和基准模型验证这些度量。
• 证明标准香农互信息无法解释反向传播中的隐私风险，而所提出的度量可以。

提出的方法

• 将Xu等人（2020）提出的$Π$-信息量（可用信息）度量适配用于测量逐层隐私风险，需依赖一组攻击模型。
• 提出基于雅可比矩阵的梯度敏感性分析，量化潜在属性变化对梯度的影响，适用于缺乏先验攻击模型知识的一般攻击者。
• 在DNN的每一层计算这两种度量，以定位私有信息（如性别、种族）在梯度中最易暴露的位置。
• 通过将度量结果与基于单一层梯度训练的属性推断攻击的AUC得分进行相关性分析，验证度量的有效性。
• 在三个真实数据集（LFW、CelebA、PubFig）上使用三种基准模型——变分AlexNet、VGG11Net和FCNet，均带有属性标注。
• 通过FedSGD模拟联邦学习，收集100轮训练中的全局模型快照，并提取各层特定的梯度用于度量计算。

实验结果

研究问题

• RQ1 在联邦学习中，通过梯度泄露，深度神经网络的哪些层对属性推断攻击最为脆弱？
• RQ2 $Π$-信息量与梯度敏感性度量能否有效实现逐层可用隐私风险的量化？
• RQ3 与香农互信息相比，这些度量在解释反向传播中的隐私泄露方面表现如何？
• RQ4 所提出的度量与实际属性推断攻击成功率（AUC）的相关性有多高？
• RQ5 不同模型架构和数据集下，层对隐私泄露的脆弱性是否有所不同？

主要发现

• $Π$-信息量度量成功识别出隐私风险随网络深度增加，这与香农互信息中观察到的数据处理不等式相矛盾。
• 梯度敏感性分析提供了一种稳健的、与攻击无关的方法，可检测隐私泄露，尤其适用于攻击者能力未知的情况。
• 在所有模型和数据集中，两种所提度量与属性推断攻击的AUC得分均表现出强烈的正相关性。
• 隐私泄露最高点始终出现在最后的全连接层，尤其在VGG11Net和FCNet等模型中，其表示更抽象且与任务相关。
• 在LFW和CelebA数据集上，使用后期层梯度的攻击AUC得分超过0.85，表明高度脆弱，这与高$Π$-信息量和高敏感性值一致。
• 尽管FCNet模型各层尺寸均匀，但仍表现出相似的逐层泄露模式，证实模型架构类型和层位置（而非仅尺寸）决定隐私风险。