[论文解读] A Differentially Private Text Perturbation Method Using a Regularized Mahalanobis Metric

Zekun Xu, Abhinav Aggarwal+2 more|arXiv (Cornell University)|Oct 22, 2020

Privacy-Preserving Technologies in Data参考文献 42被引用 4

一句话总结

本文提出了一种基于正则化马氏距离度量的差分隐私文本扰动方法，该方法根据词嵌入协方差结构自适应地调整噪声尺度，从而在保持实用性的前提下提升稀疏区域的隐私保护。与多变量拉普拉斯机制相比，该方法在隐私统计指标上表现更优——非替换率更低，替换多样性更高，同时在下游分类任务中保持了相当的性能。

ABSTRACT

Balancing the privacy-utility tradeoff is a crucial requirement of many practical machine learning systems that deal with sensitive customer data. A popular approach for privacy-preserving text analysis is noise injection, in which text data is first mapped into a continuous embedding space, perturbed by sampling a spherical noise from an appropriate distribution, and then projected back to the discrete vocabulary space. While this allows the perturbation to admit the required metric differential privacy, often the utility of downstream tasks modeled on this perturbed data is low because the spherical noise does not account for the variability in the density around different words in the embedding space. In particular, words in a sparse region are likely unchanged even when the noise scale is large. %Using the global sensitivity of the mechanism can potentially add too much noise to the words in the dense regions of the embedding space, causing a high utility loss, whereas using local sensitivity can leak information through the scale of the noise added. In this paper, we propose a text perturbation mechanism based on a carefully designed regularized variant of the Mahalanobis metric to overcome this problem. For any given noise scale, this metric adds an elliptical noise to account for the covariance structure in the embedding space. This heterogeneity in the noise scale along different directions helps ensure that the words in the sparse region have sufficient likelihood of replacement without sacrificing the overall utility. We provide a text-perturbation algorithm based on this metric and formally prove its privacy guarantees. Additionally, we empirically show that our mechanism improves the privacy statistics to achieve the same level of utility as compared to the state-of-the-art Laplace mechanism.

研究动机与目标

• 为解决文本数据扰动中的隐私-效用权衡问题，特别是嵌入空间低密度区域中词语的隐私保护问题。
• 克服多变量拉普拉斯机制中球形噪声的局限性，该噪声即使在高噪声尺度下也难以有效扰动稀疏区域的词语。
• 设计一种能反映词嵌入内在协方差结构的噪声机制，以提升稀疏区域的替换可能性。
• 形式化证明所提出的基于马氏距离的扰动机制满足度量差分隐私。
• 通过实证验证，该方法在保持与最先进拉普拉斯机制相当的实用性的同时，显著改善了隐私统计指标。

提出的方法

• 该方法将文本映射为连续词嵌入，并使用正则化马氏范数生成椭球形噪声，根据局部嵌入协方差校准噪声尺度。
• 马氏距离度量源自词汇词嵌入的全局协方差矩阵，通过在高方差方向拉伸噪声，增强稀疏区域的扰动效果。
• 在马氏距离度量中引入正则化项，以稳定协方差逆估计，防止对稀疏数据的过拟合。
• 从由正则化马氏距离度量定义的协方差结构的多变量拉普拉斯分布中采样噪声，确保满足度量差分隐私。
• 通过最近邻查找将扰动后的嵌入投影回离散词汇空间。
• 使用全局敏感性校准隐私预算 ε，其中调节参数 λ 控制正则化强度。

实验结果

研究问题

• RQ1 基于马氏距离的噪声机制是否能通过适配嵌入空间协方差结构，提升文本扰动中的隐私统计指标？
• RQ2 与多变量拉普拉斯机制中的球形噪声相比，所提出的机制是否在稀疏嵌入区域实现了更高的替换率？
• RQ3 在相同隐私预算下，马氏机制在多大程度上保持了与拉普拉斯机制相当的下游效用？
• RQ4 正则化参数 λ 如何影响所提框架中隐私与效用之间的权衡？
• RQ5 该马氏机制能否扩展至基于词聚类的局部协方差估计，以实现更优的个性化？

主要发现

• 马氏机制在所有隐私预算下显著降低了非替换词的平均数量（Nw），并提高了不同替换词的平均数量（Sw），尤其在中等 ε 范围（ε = 5, 10, 20）内效果明显。
• 在 ε = 10 时，马氏机制的平均 Nw 为 12.3，平均 Sw 为 87.7，而拉普拉斯机制分别为 28.1 和 71.9，95% 置信区间确认了统计显著性。
• 在 Twitter 和 SMSSpam 数据集上，两种机制在所有 ε 和 λ 值下的文本分类准确率、精确率和召回率几乎完全一致，证明了效用的保持。
• 在相同噪声尺度下，该方法的隐私统计指标优于多变量拉普拉斯机制，表明在不损失效用的前提下实现了更强的隐私保障。
• 在 300 维 GloVe 和 FastText 嵌入上的实证结果表明，隐私指标持续提升，验证了该方法在不同嵌入类型下的鲁棒性。
• 正则化参数 λ 被证明能有效调节隐私-效用权衡，且在 [0,1] 范围内进行网格搜索已足够实现优化。