[论文解读] General-Purpose Differentially-Private Confidence Intervals.

Cecilia Ferrando, Shufan Wang+1 more|arXiv (Cornell University)|Jun 14, 2020

Privacy-Preserving Technologies in Data参考文献 24被引用 7

一句话总结

本文提出了两种通用的构建差分隐私置信区间的通用方法：一种利用大样本中的渐近正态性以提高效率，另一种使用参数自助法以改善小样本的覆盖性能。两种方法均通过后处理方式处理已有的差分隐私估计量，不消耗额外的隐私预算，从而在差分隐私统计分析中实现准确的不确定性量化。

ABSTRACT

One of the most common statistical goals is to estimate a population parameter and quantify uncertainty by constructing a confidence interval. However, the field of differential privacy lacks easy-to-use and general methods for doing so. We partially fill this gap by developing two broadly applicable methods for private confidence-interval construction. The first is based on asymptotics: for two widely used model classes, exponential families and linear regression, a simple private estimator has the same asymptotic normal distribution as the corresponding non-private estimator, so confidence intervals can be constructed using quantiles of the normal distribution. These are computationally cheap and accurate for large data sets, but do not have good coverage for small data sets. The second approach is based on the parametric bootstrap. It applies out of the box to a wide class of private estimators and has good coverage at small sample sizes, but with increased computational cost. Both methods are based on post-processing the private estimator and do not consume additional privacy budget.

研究动机与目标

• 解决在统计分析中缺乏易于使用、通用的差分隐私置信区间构建方法的问题。
• 为私人数据分析中的不确定性量化提供可扩展且准确的解决方案。
• 确保在差分隐私约束下，置信区间能够保持正确的覆盖概率。
• 开发计算高效的方法，适用于大规模数据集，同时在小样本情况下仍具有效性。
• 实现对差分隐私估计量的后处理，而无需额外消耗隐私预算。

提出的方法

• 利用指数族分布和线性回归中差分隐私估计量的渐近正态性，通过标准正态分位数构造置信区间。
• 对差分隐私估计量应用参数自助法，基于估计模型模拟数据，以经验估计抽样分布。
• 利用后处理不变性：置信区间仅基于差分隐私估计量推导得出，避免额外的隐私成本。
• 对于渐近方法，依赖于在正则条件下，差分隐私估计量收敛到与非私有估计量相同的渐近分布。
• 对于自助法，从私有模型生成合成数据集，在每个数据集上计算私有估计量，并利用其经验分布构造置信区间。
• 两种方法均可开箱即用，适用于广泛范围的差分隐私估计量，无需针对具体模型进行修改。

实验结果

研究问题

• RQ1 能否利用差分隐私估计量的渐近正态性，以最小计算成本构建差分隐私置信区间？
• RQ2 在差分隐私约束下，如何在小样本设置中保持置信区间的良好覆盖概率？
• RQ3 在不消耗额外隐私预算的前提下，对差分隐私估计量进行后处理在多大程度上可用于构造有效的置信区间？
• RQ4 在不同样本规模下，计算效率与覆盖准确性的权衡关系如何？
• RQ5 能否开发一种通用方法，适用于多种差分隐私估计量，而无需进行定制化实现？

主要发现

• 渐近方法通过依赖私有估计量收敛到正态分布的性质，在大规模数据集中实现了准确的覆盖。
• 参数自助法在小样本设置下相比渐近方法提供了更好的覆盖性能，但计算开销更高。
• 两种方法均为后处理技术，不消耗额外隐私预算，从而保持原始隐私保证。
• 渐近方法计算高效，由于依赖标准正态分位数，适用于大规模数据分析。
• 基于自助法的方法广泛适用于一大类差分隐私估计量，在样本量较小时也能保持良好的经验覆盖性能。
• 这些方法具有通用性，可直接应用于常见的模型（如指数族分布和线性回归），而无需针对具体模型进行调参。