[论文解读] INSPECTRE: Privately Estimating the Unseen

Jayadev Acharya, Gautam Kamath+2 more|arXiv (Cornell University)|Feb 28, 2018

Privacy-Preserving Technologies in Data参考文献 34被引用 5

一句话总结

INSPECTRE 通过结合灵敏度分析与拉普拉斯噪声，将最先进的非私有方法适配为用于基本分布属性（支持集大小、支持集覆盖率和熵）的差分隐私估计器。关键贡献在于，隐私成本几乎可以忽略不计，仅带来与 $1/\alpha\varepsilon$ 成正比的微小加法开销，使得在高维或稀疏场景下实现私有估计成为可能。

ABSTRACT

We develop differentially private methods for estimating various distributional properties. Given a sample from a discrete distribution $p$, some functional $f$, and accuracy and privacy parameters $α$ and $\varepsilon$, the goal is to estimate $f(p)$ up to accuracy $α$, while maintaining $\varepsilon$-differential privacy of the sample. We prove almost-tight bounds on the sample size required for this problem for several functionals of interest, including support size, support coverage, and entropy. We show that the cost of privacy is negligible in a variety of settings, both theoretically and experimentally. Our methods are based on a sensitivity analysis of several state-of-the-art methods for estimating these properties with sublinear sample complexities.

研究动机与目标

• 解决在数据稀缺且包含敏感信息时，对离散分布中罕见事件进行估计的挑战。
• 开发差分隐私算法，在保持隐私的同时准确估计关键分布属性，如支持集大小、支持集覆盖率和熵。
• 最小化私有估计所需的样本复杂度，确保计算效率和实际可应用性。
• 证明在领域大小 $k$ 较大且隐私预算 $\varepsilon$ 适中时，差分隐私的成本几乎可以忽略。

提出的方法

• 通过分析其对输入变化的灵敏度，将先前工作中的非私有估计器（例如 SGT 用于支持集覆盖率，以及其他方法用于熵和支持集大小）进行适配。
• 应用拉普拉斯机制，添加与估计器灵敏度成比例的噪声，以确保 $(\varepsilon, 0)$-差分隐私。
• 基于先前工作的理论洞察，使用从样本中导出的数据依赖参数 $r$ 来控制噪声尺度。
• 实现现有亚线性样本估计器的私有版本，在保留其统计效率的同时增加隐私保障。
• 使用灵敏度界 $2(1 + e^{r(t-1)})/\varepsilon$ 校准噪声，该界依赖于估计器的结构和隐私参数 $\varepsilon$。
• 通过在合成数据、美国人口普查数据和莎士比亚《哈姆雷特》上的大量实验验证性能，与非私有基线进行比较。

实验结果

研究问题

• RQ1 估计分布属性（如支持集大小、支持集覆盖率和熵）所需的最小样本复杂度是多少？
• RQ2 差分隐私的成本如何随准确度 $\alpha$、隐私预算 $\varepsilon$ 和领域大小 $k$ 变化？
• RQ3 与非私有方法相比，是否可以仅以微小的加法开销实现复杂分布属性的私有估计？
• RQ4 在何种场景下隐私成本变得可忽略，而在何种场景下会显著降低性能？
• RQ5 在具有高度稀疏性或过度采样的真实数据集（如人口普查数据或文学文本）上，私有估计器的表现如何？

主要发现

• 私有估计熵的样本复杂度增加了 $O(1/\alpha\varepsilon)$ 的加法成本，该成本几乎最优且与领域大小 $k$ 无关。
• 当 $k$ 较大时，在 $k \gg 1/\alpha\varepsilon$ 的情形下，隐私开销为 $o(1)$，意味着隐私带来的额外成本可忽略不计。
• 在合成数据上的实验结果表明，当 $\varepsilon = 1, 2, 10$ 时，私有估计器的均方根误差（RMSE）几乎与非私有的 SGT 估计器无法区分。
• 在真实世界数据集（如 2000 年美国人口普查和莎士比亚《哈姆雷特》）上，即使在 $\varepsilon = 0.5$ 时，私有估计器的性能也几乎与非私有基线一致。
• 对于较小的支持集大小（例如 $k \approx 100$），隐私成本变得显著，原因在于相邻数据集的支持集大小差异极大，导致根本性的权衡。
• 理论下界证实，样本复杂度的上界几乎紧致，验证了所提方法的高效性。