[论文解读] Differentially Private Analysis of Outliers

Rina Okada, Kazuto Fukuchi+2 more|arXiv (Cornell University)|Jul 24, 2015

Privacy-Preserving Technologies in Data参考文献 21被引用 4

一句话总结

本文提出了一种基于平滑敏感度和指数机制的差分隐私方法，用于分析基于距离的离群点，显著降低了离群点计数和子空间发现中的噪声（最高可减少30倍），尤其在较高隐私预算下表现更优，使高维数据中的实际应用成为可能。

ABSTRACT

This paper investigates differentially private analysis of distance-based outliers. The problem of outlier detection is to find a small number of instances that are apparently distant from the remaining instances. On the other hand, the objective of differential privacy is to conceal presence (or absence) of any particular instance. Outlier detection and privacy protection are thus intrinsically conflicting tasks. In this paper, instead of reporting outliers detected, we present two types of differentially private queries that help to understand behavior of outliers. One is the query to count outliers, which reports the number of outliers that appear in a given subspace. Our formal analysis on the exact global sensitivity of outlier counts reveals that regular global sensitivity based method can make the outputs too noisy, particularly when the dimensionality of the given subspace is high. Noting that the counts of outliers are typically expected to be relatively small compared to the number of data, we introduce a mechanism based on the smooth upper bound of the local sensitivity. The other is the query to discovery top-$h$ subspaces containing a large number of outliers. This task can be naively achieved by issuing count queries to each subspace in turn. However, the variation of subspaces can grow exponentially in the data dimensionality. This can cause serious consumption of the privacy budget. For this task, we propose an exponential mechanism with a customized score function for subspace discovery. To the best of our knowledge, this study is the first trial to ensure differential privacy for distance-based outlier analysis. We demonstrated our methods with synthesized datasets and real datasets. The experimental results show that out method achieve better utility compared to the global sensitivity based methods.

研究动机与目标

• 为解决离群点检测与差分隐私之间的固有矛盾，即识别离群点可能暴露个体数据。
• 开发差分隐私查询，揭示离群点的统计行为，而不泄露个体实例。
• 通过减少离群点计数和子空间发现中的噪声，提升高维数据中的实用性。
• 设计高效算法，用于在隐私约束下评估平滑敏感度和子空间评分。
• 通过在合成数据集和真实世界数据集上的实验，证明方法的实际适用性。

提出的方法

• 提出一种基于平滑敏感度的差分隐私离群点计数机制，利用依赖于数据的噪声，自适应于实际离群点数量。
• 提出一种高效算法，用于计算离群点计数的平滑上界局部敏感度，降低计算成本。
• 采用指数机制并结合自定义评分函数，发现具有高离群点密度的top-h子空间，最小化隐私预算消耗。
• 使用顺序组合机制，迭代选择子空间，在差分隐私保证下平衡准确性和隐私。
• 应用最小包围球算法计算子空间中的离群点状态，实现稳健的距离-based离群点检测。
• 采用拉普拉斯和高斯噪声机制，结合隐私参数ε，确保(ε, δ)-差分隐私。

实验结果

研究问题

• RQ1 在高维数据中，基于平滑敏感度的差分隐私离群点计数是否比基于全局敏感度的方法更准确？
• RQ2 如何高效计算并应用平滑敏感度于差分隐私下的离群点计数？
• RQ3 在高维设置中，结合定制评分函数的指数机制能否在保护隐私的同时提升子空间发现效果？
• RQ4 在差分隐私离群点分析中，隐私预算(ε)与实用性（精确率/召回率）之间的权衡如何？
• RQ5 与标准的基于全局敏感度的方法相比，所提方法在噪声幅度和实用性方面表现如何？

主要发现

• 与基于全局敏感度的方法相比，基于平滑敏感度的机制将噪声标准差降低了最多30倍，即使在下界条件下亦然。
• 当ε ≥ 0.7时，平滑敏感度机制的噪声标准差低于7，表明在实际隐私配置下具有强大实用性。
• 该方法的噪声仅取决于离群点数量，与数据维度无关，因此可扩展至高维子空间。
• 在top-h子空间发现中，随着h增大，精确率下降，而召回率提高，因为选中真实子空间的概率增加。
• 在较高h值下，顺序组合效应占主导，尽管检测概率提高，但召回率仍下降，表明存在实用性权衡。
• 由于高效使用隐私预算，所提方法在高维设置下相比基线方法实现了更高的检测准确率。