[论文解读] Label Leakage and Protection in Two-party Split Learning

Oscar Li, Jiankai Sun+6 more|arXiv (Cornell University)|Feb 17, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用 64

一句话总结

本文表明，在两方分割学习中，非标签方可以从反向梯度中恢复私有标签，并引入 Marvell——一种优化的扰动方法，用以防止此类泄漏同时保持模型效用。

ABSTRACT

Two-party split learning is a popular technique for learning a model across feature-partitioned data. In this work, we explore whether it is possible for one party to steal the private label information from the other party during split training, and whether there are methods that can protect against such attacks. Specifically, we first formulate a realistic threat model and propose a privacy loss metric to quantify label leakage in split learning. We then show that there exist two simple yet effective methods within the threat model that can allow one party to accurately recover private ground-truth labels owned by the other party. To combat these attacks, we propose several random perturbation techniques, including $ exttt{Marvell}$, an approach that strategically finds the structure of the noise perturbation by minimizing the amount of label leakage (measured through our quantification metric) of a worst-case adversary. We empirically demonstrate the effectiveness of our protection techniques against the identified attacks, and show that $ exttt{Marvell}$ in particular has improved privacy-utility tradeoffs relative to baseline approaches.

研究动机与目标

• 在二分类条件下，为二方分割学习中的标签泄漏 formalize 威胁模型。
• 提出一种隐私量化指标（leak AUC），用于衡量反向梯度中的标签泄漏。
• 演示可现实的攻击，能够从梯度中恢复真实标签。
• 开发并评估保护技术（包括 Marvell），在保持模型性能的同时尽量减少泄漏。

提出的方法

• 为垂直分割学习中的按例子特定、基于梯度的泄漏定义威胁模型。
• 引入 leak AUC 作为度量对手从 cut-layer 梯度中恢复标签能力的指标。
• 演示两种实用攻击：基于范数的泄漏策略和基于方向/余弦的泄漏策略。
• 提出随机扰动防御：max_norm（启发式）和 Marvell（原理化优化）。
• Marvell 通过在梯度噪声能量约束下求解受约束优化，以最小化最坏情形的 AUC。
• 假设高斯扰动具有类别相关协方差，并将优化简化为协方差结构的四参数问题。

实验结果

研究问题

• RQ1 二方分割学习中的后向切层梯度是否会揭示私有标签？
• RQ2 在该设置中如何量化和比较标签泄漏？
• RQ3 哪些防御措施在不破坏模型效用的前提下能有效降低泄漏？
• RQ4 是否存在一种优化的扰动策略，能够在潜在对手中提供鲁棒、原理性的隐私保护？

主要发现

• 两种简单且真实的攻击可以从 cut-layer 梯度中恢复私有标签，导致高 leak AUC 值。
• Marvell 显著降低泄漏，相较基线实现更有利的隐私-效用权衡。
• 梯度泄漏在更早的层次（cut 层之前）仍然存在，并被 Marvell 缓解。
• Marvell 在总噪声预算下对类依赖高斯噪声进行优化，以最小化最坏情形的 AUC。
• 在 Criteo、Avazu 和 ISIC 上的实证评估显示对基于范数和余弦的攻击具有保护效果。
• 与基线相比，Marvell 提供更强的隐私保护，同时维持模型性能。