[论文解读] Antipodes of Label Differential Privacy: PATE and ALIBI

Mani Malek, Ilya Mironov+3 more|arXiv (Cornell University)|Jun 7, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用 8

一句话总结

本文提出了两种新颖的方法——ALIBI（加法拉普拉斯与迭代贝叶斯推理）和PATE-FM（使用FixMatch半监督学习的PATE）——用于标签仅差分隐私。ALIBI对独热编码的标签添加拉普拉斯噪声，并利用模型自身的预测作为先验进行贝叶斯推理以去噪；PATE-FM则利用从私有数据中移除标签后得到的公共未标记数据集，并结合半监督学习。关键发现是，尽管理论隐私边界较弱，PATE-FM在经验隐私方面显著优于ALIBI，凸显了理论保证与真实世界记忆风险之间的关键差距。

ABSTRACT

We consider the privacy-preserving machine learning (ML) setting where the trained model must satisfy differential privacy (DP) with respect to the labels of the training examples. We propose two novel approaches based on, respectively, the Laplace mechanism and the PATE framework, and demonstrate their effectiveness on standard benchmarks. While recent work by Ghazi et al. proposed Label DP schemes based on a randomized response mechanism, we argue that additive Laplace noise coupled with Bayesian inference (ALIBI) is a better fit for typical ML tasks. Moreover, we show how to achieve very strong privacy levels in some regimes, with our adaptation of the PATE framework that builds on recent advances in semi-supervised learning. We complement theoretical analysis of our algorithms' privacy guarantees with empirical evaluation of their memorization properties. Our evaluation suggests that comparing different algorithms according to their provable DP guarantees can be misleading and favor a less private algorithm with a tighter analysis. Code for implementation of algorithms and memorization attacks is available from https://github.com/facebookresearch/label_dp_antipodes.

研究动机与目标

• 为解决在仅标签敏感的场景（如在线广告或垂直分割数据）中对标签仅差分隐私的需求。
• 提出两种新机制——ALIBI与PATE-FM——以在标签DP设置下实现强大的隐私-效用权衡。
• 通过在标记样本（候选者）上实证估计隐私损失（即成员推理攻击），挑战仅依赖理论DP边界的依赖性。
• 证明理论隐私边界可能具有误导性，因为更紧的分析可能更倾向于选择一个隐私性较低的算法，而非隐私性更高的算法。
• 通过引入可扩展且与训练者无关的记忆攻击，弥合理论隐私保证与经验隐私损失之间的差距。

提出的方法

• ALIBI向独热编码的标签注入加法拉普拉斯噪声，并利用模型自身预测作为先验，通过迭代贝叶斯推理对输出进行去噪。
• PATE-FM通过将私有数据集中未标记部分视为公共未标记数据集，对PATE框架进行适应，从而实现通过集成模型聚合的标签DP。
• 该方法利用FixMatch——一种最先进的半监督学习技术——在标签DP约束下提升准确率与泛化能力。
• 提出一种新颖启发式方法，将多个候选者（误标记样本）插入单个模型中，高效估计攻击成功率，避免昂贵的重新训练。
• 使用黑盒成员推理攻击通过测量猜测候选者标签的成功率来估计经验隐私损失，从而提供隐私参数ε的下界。
• 理论隐私保证通过差分隐私组合与后处理定理推导得出，为两种方法均提供(ε, δ)-DP边界。

实验结果

研究问题

• RQ1 在高隐私场景下，加法拉普拉斯噪声结合贝叶斯推理（ALIBI）是否优于随机响应在标签仅差分隐私中的表现？
• RQ2 当使用从私有数据中提取的公共未标记数据集对PATE框架进行适应时，其在标签DP中是否能提供强于其他标签DP机制的经验隐私？
• RQ3 理论(ε, δ)-DP边界与通过成员推理攻击测量的经验隐私损失之间相关性如何？
• RQ4 是否可以使用插入多个候选者的单个模型来高效估计经验隐私损失而无需重新训练？
• RQ5 为何PATE-FM在理论隐私边界远弱于ALIBI的情况下，仍表现出显著更低的经验记忆化程度？

主要发现

• PATE-FM的经验隐私损失（εₘ）比其理论(ε, δ)-DP边界低多达三个数量级，表明其对标签记忆化具有极强的抵抗能力。
• ALIBI的经验隐私损失约为其理论上限的2倍以内，表明其分析几乎达到紧致性。
• 尽管理论隐私边界比ALIBI宽松超过100倍，PATE-FM在成员推理攻击下对候选者的测量结果仍表现出显著更强的经验隐私，证实其优越性。
• ALIBI的攻击成功率显著高于PATE-FM，尤其在高置信度情况下，证实ALIBI对标签恢复更具脆弱性。
• ALIBI更具灵活性，可兼容任意迭代训练过程（如SGD），而PATE-FM依赖半监督学习，仅适用于此类方法适用的任务。
• 本研究揭示了理论DP边界与经验隐私之间存在关键脱节，表明仅依赖理论边界可能误导隐私保护算法的选择。