[论文解读] Differential privacy and robust statistics in high dimensions

Xiyang Liu, Weihao Kong+1 more|arXiv (Cornell University)|Nov 12, 2021

Privacy-Preserving Technologies in Data参考文献 78被引用 6

一句话总结

本文提出了高维提议-测试-发布（High-dimensional Propose-Test-Release, HPTR）框架，这是一种在高维场景下实现差分隐私统计估计的通用方法。通过结合指数机制、稳健统计与基于韧性（resilience）的敏感性分析，HPTR 在最小假设条件下，实现了均值估计、线性回归、协方差估计和主成分分析等任务的近似最优样本复杂度。

ABSTRACT

We introduce a universal framework for characterizing the statistical efficiency of a statistical estimation problem with differential privacy guarantees. Our framework, which we call High-dimensional Propose-Test-Release (HPTR), builds upon three crucial components: the exponential mechanism, robust statistics, and the Propose-Test-Release mechanism. Gluing all these together is the concept of resilience, which is central to robust statistical estimation. Resilience guides the design of the algorithm, the sensitivity analysis, and the success probability analysis of the test step in Propose-Test-Release. The key insight is that if we design an exponential mechanism that accesses the data only via one-dimensional robust statistics, then the resulting local sensitivity can be dramatically reduced. Using resilience, we can provide tight local sensitivity bounds. These tight bounds readily translate into near-optimal utility guarantees in several cases. We give a general recipe for applying HPTR to a given instance of a statistical estimation problem and demonstrate it on canonical problems of mean estimation, linear regression, covariance estimation, and principal component analysis. We introduce a general utility analysis technique that proves that HPTR nearly achieves the optimal sample complexity under several scenarios studied in the literature.

研究动机与目标

• 填补在最小假设条件下对差分隐私估计统计效率特征刻画的空白。
• 构建一个统一框架，适用于多种高维估计问题，且无需依赖高阶矩或参数边界的先验知识。
• 通过在指数机制中仅使用一维稳健统计以最小化局部敏感性，实现紧致的效用保证。
• 提供一种通用方法，将该框架应用于均值估计、线性回归、协方差和主成分分析等典型问题。
• 证明 HPTR 在子高斯分布、超收缩分布及有界协方差分布下，几乎达到最优样本复杂度。

提出的方法

• 利用基于稳健一维统计的评分函数的指数机制，以降低局部敏感性。
• 将韧性作为核心概念，指导代理评分函数与敏感性分析的设计。
• 应用提议-测试-发布机制验证候选估计，确保隐私与效用。
• 利用有界体积与韧性特性，推导出紧致的局部敏感性上界。
• 通过打包论证将估计问题归约为假设检验问题，以证明下界。
• 通过安全裕度与基于韧性的鲁棒性保证，推广效用分析。

实验结果

研究问题

• RQ1 一个统一框架是否能对多种问题类型实现近似最优样本复杂度的差分隐私高维估计？
• RQ2 稳健统计中的韧性如何用于界定局部敏感性，并提升差分隐私算法的效用？
• RQ3 实现差分隐私估计最优统计效率所需的最小假设集合是什么？
• RQ4 通过将数据访问限制在稳健一维统计上，能否使指数机制在高维中实现高效？
• RQ5 高效与最优算法之间的样本复杂度差距是否具有根本性，还是可以被消除？

主要发现

• 对于子高斯分布的均值估计，HPTR 仅需 $ O(d/\beta^2 + d/(\beta \tfrac{1}{\beta})) $ 个样本，即可实现近似最优样本复杂度，其结果与信息论下界仅相差对数因子。
• 对于超收缩分布，HPTR 在 $ O(d/\beta^2 + d/(\beta \tfrac{1}{\beta})) $ 个样本下实现误差 $ \tilde{O}(\beta) $，证明了其紧致性。
• 该框架提供了通用的效用分析，证明 HPTR 在包括高斯分布与协方差有界族在内的多种分布下，几乎达到最优样本复杂度。
• 韧性使得局部敏感性边界更加紧致，从而直接转化为更优的效用保证，尤其在高维场景下效果显著。
• 分析表明，均值估计中高效与最优算法之间存在的 $ d^{1/2} $ 差距很可能是根本性的，因为 HPTR 实现了最优的 $ O(d/(\beta \tfrac{1}{\beta})) $ 项。
• 通过打包与检验归约推导出的下界表明，即使在 $ (\tfrac{1}{\beta}, \tfrac{1}{\beta}) $-DP 条件下，HPTR 的效用也几乎是最优的，其误差按 $ \tilde{\theta}((d \tfrac{1}{\beta})^{1-2/k}) $ 规模缩放，适用于 $ k $ 阶矩有界的分布。