[论文解读] Label differential privacy via clustering

Hossein Esfandiari, Vahab Mirrokni+2 more|arXiv (Cornell University)|Oct 5, 2021

Privacy-Preserving Technologies in Data参考文献 15被引用 4

一句话总结

本文提出了一种新颖的标签差分隐私机制，通过基于特征对训练样本进行聚类，并对标签应用聚类感知的随机化响应，从而在隐私-效用权衡上实现改进。通过用同一聚类中的标签替代原始标签，当聚类较大且同质性高时，该方法在实验中实现了与非私有学习相当的过剩风险，优于均匀随机化响应和DP-SGD。

ABSTRACT

We present new mechanisms for \emph{label differential privacy}, a relaxation of differentially private machine learning that only protects the privacy of the labels in the training set. Our mechanisms cluster the examples in the training set using their (non-private) feature vectors, randomly re-sample each label from examples in the same cluster, and output a training set with noisy labels as well as a modified version of the true loss function. We prove that when the clusters are both large and high-quality, the model that minimizes the modified loss on the noisy training set converges to small excess risk at a rate that is comparable to the rate for non-private learning. We describe both a centralized mechanism in which the entire training set is stored by a trusted curator, and a distributed mechanism where each user stores a single labeled example and replaces her label with the label of a randomly selected user from the same cluster. We also describe a learning problem in which large clusters are necessary to achieve both strong privacy and either good precision or good recall. Our experiments show that randomizing the labels within each cluster significantly improves the privacy vs. accuracy trade-off compared to applying uniform randomized response to the labels, and also compared to learning a model via DP-SGD.

研究动机与目标

• 为解决标准差分隐私机器学习中所有特征均受保护所导致的隐私-效用权衡差的问题，仅聚焦于保护标签。
• 设计一种机制，在通过基于特征的聚类保留标签隐私的同时，支持高效率的模型训练。
• 开发集中式与分布式协议，使用户能够基于聚类特定的标签分布本地扰动标签。
• 从理论上和实证上证明聚类质量与大小显著改善隐私-效用权衡。
• 表明大而低异质性的聚类是实现强隐私与良好模型精确率或召回率的必要条件。

提出的方法

• 使用非私有的特征向量对训练样本进行聚类，以将相似的数据点分组。
• 应用随机化响应的一种变体，其中每个标签被替换为从同一聚类的标签分布中抽取的标签，而非均匀抽取。
• 构建一个修正标签噪声的修改损失函数，使在扰动数据上进行准确的模型训练成为可能。
• 设计一种集中式机制，由可信的管理员使用聚类统计信息执行标签随机化。
• 设计一种对等的分布式机制，其中每个用户从同一聚类中随机选择的一名对等方采样一个噪声标签。
• 将聚类异质性 φ 定义为聚类内部标签分布相似性的度量，其影响隐私与效用。

实验结果

研究问题

• RQ1 与均匀随机化响应相比，基于聚类的标签随机化是否能改善差分隐私学习中的隐私-效用权衡？
• RQ2 聚类大小与同质性如何影响在聚类扰动数据上训练的模型的过剩风险？
• RQ3 无需中心化管理员的对等式、分布式机制能否实现标签差分隐私？
• RQ4 在不同隐私与数据质量参数下，所提机制的理论过剩风险边界是什么？
• RQ5 当聚类较小时或异质性较高时，隐私、精确率与召回率之间是否存在根本性权衡？

主要发现

• 集中式机制的过剩风险为 Õ(K√(d/n) + K²φ/(1+(e^ε−1)φ))，当 φ 较小或 ε 较大时，与非私有率一致。
• 对等方式机制满足 (ε,1/s²)-标签差分隐私，且在二分类任务中过剩风险为 Õ(√(d/(εn)) + φ)。
• 实验表明，基于聚类的标签随机化显著优于均匀随机化响应和DP-SGD，提升了隐私-准确率权衡。
• 理论分析证明，若要实现强隐私与高精确率或高召回率，必须依赖大聚类，尤其当聚类异质性 φ 不可忽略时。
• 对于常数 ε，若聚类过小，则精确率 φ 或召回率 η 必须为次常数，表明存在根本性权衡。
• 机制性能随聚类规模增大与聚类异质性降低而提升，验证了优质聚类的重要性。