[论文解读] A Primer on Private Statistics

Gautam Kamath, Jonathan Ullman|arXiv (Cornell University)|Apr 30, 2020

Privacy-Preserving Technologies in Data参考文献 65被引用 20

一句话总结

本文通过统一经验与总体导向的私有统计推断，弥合了差分隐私与统计估计之间的鸿沟，证明了为一种场景开发的技术可适用于另一种场景。本文全面综述了近期在私有均值估计、分布学习和假设检验方面的进展，强调了极小极大最优性以及诸如二叉树机制等实用机制。

ABSTRACT

Differentially private statistical estimation has seen a flurry of developments over the last several years. Study has been divided into two schools of thought, focusing on empirical statistics versus population statistics. We suggest that these two lines of work are more similar than different by giving examples of methods that were initially framed for empirical statistics, but can be applied just as well to population statistics. We also provide a thorough coverage of recent work in this area.

研究动机与目标

• 统一经验与总体导向的私有统计估计的处理方式，揭示其概念与技术上的相似性。
• 以统计语言呈现计算机科学文献中的关键结果，以促进跨学科合作。
• 突出在 Kolmogorov 距离下私有均值估计与分布学习的极小极大最优方法。
• 综述私有假设检验的最新进展，包括拟合优度检验与独立性检验，给出紧致的样本复杂度界。
• 探索图的私有分析，包括随机图模型（如图子与 β-模型）的参数估计。

提出的方法

• 利用差分隐私框架，将私有统计估计形式化为在最坏情况隐私约束与平均情况数据生成下最小化期望损失。
• 应用追踪攻击与敏感性分析，推导出私有多元均值估计的紧致极小极大下界。
• 采用二叉树机制，在 Kolmogorov 距离下实现分布的最优私有估计。
• 将经验图分析中的利普希茨延拓技术适配至统计图模型估计，如图子与 β-模型。
• 提出并分析经典检验统计量（如 χ²、ANOVA）的私有版本，以优化小样本性能。
• 利用近似分布与样本复杂度分析，评估私有假设检验算法的性能。

实验结果

研究问题

• RQ1 经验与总体导向的私有统计估计在公式化上如何不同？它们在多大程度上可以互换？
• RQ2 私有估计多元分布均值的紧致极小极大下界是什么？
• RQ3 二叉树机制能否在 Kolmogorov 距离下实现分布的最优私有估计？
• RQ4 在离散分布中，私有拟合优度检验与独立性检验的极小极大样本复杂度是多少？
• RQ5 如何将图的私有分析从经验统计扩展至随机图模型的总体参数估计？

主要发现

• 通过追踪攻击技术，建立了私有多元均值估计的紧致极小极大下界，揭示了准确性的根本限制。
• 二叉树机制在 Kolmogorov 距离下实现了分布的最优私有估计，与已知的极小极大速率一致。
• 私有拟合优度检验的极小极大样本复杂度被紧密刻画，近期研究中已建立匹配的上下界。
• 私有假设检验算法即使在小样本下也表现有效，其性能可通过生成的统计分布近似。
• 利用利普希茨延拓技术，可实现对 β-模型与图子等图参数的私有估计，近期在计算效率方面取得进展。
• 现有的机制支持私有变化点检测与私有 ANOVA，表明其应用范围已超越基础估计。