[论文解读] ExPLoit: Extracting Private Labels in Split Learning

Sanjay Kariyappa, Moinuddin K. Qureshi|arXiv (Cornell University)|Nov 25, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

ExPLoit 是一种标签泄露攻击，通过将任务建模为使用代理模型和新型损失函数的监督学习，使对抗性输入拥有者能够从分割学习中的标签拥有者处提取私有标签。该攻击实现了高达 99.96% 的标签泄露准确率，表明分割学习提供的标签隐私保护几乎可以忽略不计。

ABSTRACT

Split learning is a popular technique used for vertical federated learning (VFL), where the goal is to jointly train a model on the private input and label data held by two parties. This technique uses a split-model, trained end-to-end, by exchanging the intermediate representations (IR) of the inputs and gradients of the IR between the two parties. We propose ExPLoit - a label-leakage attack that allows an adversarial input-owner to extract the private labels of the label-owner during split-learning. ExPLoit frames the attack as a supervised learning problem by using a novel loss function that combines gradient-matching and several regularization terms developed using key properties of the dataset and models. Our evaluations show that ExPLoit can uncover the private labels with near-perfect accuracy of up to 99.96%. Our findings underscore the need for better training techniques for VFL.

研究动机与目标

• 调查分割学习是否能为标签拥有者持有的私有标签提供有意义的隐私保障。
• 开发一种实用的攻击方法，使对抗性输入拥有者能够在分割学习过程中提取标签拥有者的私有标签。
• 评估梯度噪声作为防御机制在缓解此类标签泄露攻击方面的有效性。
• 证明现有分割学习协议无法有效保护标签隐私，从而凸显需要改进纵向联邦学习技术。

提出的方法

• ExPLoit 用可学习的代理模型和代理标签替代标签拥有者的模型和私有标签，使攻击可被建模为监督学习问题。
• 该攻击使用一种新型损失函数，结合梯度匹配、标签先验分布匹配、标签熵最小化和预测准确率目标。
• 代理参数通过分割学习过程中交换的中间表示（IRs）和梯度进行训练，利用完整的 {z_i, ∇_z L_i} 对集合。
• 通过标签先验和熵约束施加正则化，以确保代理标签反映真实标签分布并保持为高难度（低熵）标签。
• 攻击通过复合损失函数进行优化，以平衡梯度保真度、标签分布对齐和模型准确率。
• 通过向梯度中添加高斯噪声（η ~ N(0, σ)）评估防御机制，分析不同数据集上的效用-隐私权衡。

实验结果

研究问题

• RQ1 在双参与方分割学习设置中，对抗性输入拥有者能否提取标签拥有者的私有标签？
• RQ2 所提出的 ExPLoit 攻击在多种数据集上对分割学习中的标签隐私造成了多大程度的威胁？
• RQ3 梯度噪声作为防御机制在缓解标签泄露方面的有效性如何，其带来的效用-隐私权衡如何？
• RQ4 ExPLoit 在性能上相较于先前的分割学习标签泄露攻击表现如何？

主要发现

• ExPLoit 在多个数据集上实现了高达 99.96% 的标签泄露准确率，包括 MNIST、FashionMNIST、CIFAR-10、CIFAR-100 和 Criteo 转化预测任务。
• 与近期标签泄露攻击相比，该攻击在泄露准确率上最高提升 67.2%，展现出更优的有效性。
• 在 MNIST 上，梯度噪声防御使标签泄露准确率降低 77%，同时仅导致测试准确率下降 4%，表明在简单数据集上具有有利的效用-隐私权衡。
• 对于更复杂的 CIFAR-10 和 CIFAR-100 数据集，相同防御措施导致测试准确率下降 38%，标签泄露减少 79%，表明在复杂模型上不切实际。
• 梯度噪声防御会降低中间表示的质量，削弱其他攻击（如 K-Means 和模型补全）的效能，尽管 ExPLoit 在复杂数据集上仍更具优势。
• 即使应用梯度噪声，UnSplit 攻击依然无效，表明噪声无法完全消除所有攻击向量。