[论文解读] A Private and Computationally-Efficient Estimator for Unbounded Gaussians

Gautam Kamath, Argyris Mouzakis+3 more|arXiv (Cornell University)|Nov 8, 2021

Privacy-Preserving Technologies in Data参考文献 43被引用 6

一句话总结

本文提出了首个在 $\mathbb{R}^d$ 中对无界高斯分布的均值和协方差进行差分隐私保护、多项式时间复杂度和多项式样本复杂度的估计器。它引入了一种新型差分隐私预处理矩阵，将协方差变换为条件数恒定的形式，从而在无需对均值或协方差施加先验边界的情况下实现精确估计，以在隐私参数的多对数依赖下达到最优样本复杂度。

ABSTRACT

We give the first polynomial-time, polynomial-sample, differentially private estimator for the mean and covariance of an arbitrary Gaussian distribution $\mathcal{N}(μ,Σ)$ in $\mathbb{R}^d$. All previous estimators are either nonconstructive, with unbounded running time, or require the user to specify a priori bounds on the parameters $μ$ and $Σ$. The primary new technical tool in our algorithm is a new differentially private preconditioner that takes samples from an arbitrary Gaussian $\mathcal{N}(0,Σ)$ and returns a matrix $A$ such that $A ΣA^T$ has constant condition number.

研究动机与目标

• 设计一种针对 $\mathbb{R}^d$ 中任意高斯分布的差分隐私估计器，无需对均值 $\mu$ 或协方差 $\Sigma$ 的边界施加先验知识。
• 克服先前隐私估计器的局限性，即需要对 $R$ 和 $K$ 施加先验边界，这些边界在使用宽松边界时会降低估计精度。
• 在保持差分隐私和近似 $(\varepsilon,\delta)$-DP 下实现准确估计的同时，达到多项式时间复杂度和多项式样本复杂度。
• 开发一种差分隐私预处理矩阵，将数据变换后使得结果协方差的条件数恒定，从而实现稳定估计。

提出的方法

• 引入一种差分隐私预处理矩阵，其输入为来自 $\mathcal{N}(0,\Sigma)$ 的独立同分布样本，输出矩阵 $A$，使得 $A\Sigma A^T$ 的条件数恒定。
• 使用预处理后的样本 $AX$，通过具有有界敏感度的朴素差分隐私估计器来估计变换后的协方差。
• 通过逆变换 $\widehat{\Sigma} = A^{-1}\Sigma' A^{-1}$ 恢复原始协方差估计。
• 通过使用独立算法先识别非零子空间，对协方差具有零特征值的退化情形进行处理，然后将数据投影到该子空间上。
• 将预处理矩阵与一种基于稳定性的直方图的差分隐私均值估计算法（PME）结合，以消除对范围参数 $R$ 的依赖。
• 通过组合与后处理确保差分隐私，利用预处理矩阵和差分隐私估计器的隐私保证。

实验结果

研究问题

• RQ1 能否在不依赖对均值或协方差参数的先验边界条件下，构造出对无界高斯分布的均值和协方差的差分隐私估计器？
• RQ2 能否设计一种差分隐私预处理矩阵，使得变换后的协方差具有恒定条件数，从而实现高效且精确的估计？
• RQ3 能否使样本复杂度在 $d$ 和逆精度 $\alpha$ 上为多项式，同时对隐私参数 $\varepsilon$、$\delta$ 和失败概率 $\beta$ 仅保持多对数依赖？
• RQ4 在近似差分隐私下，如何消除在差分隐私均值估计中对先验范围参数 $R$ 的依赖？

主要发现

• 所提出的估计器在样本复杂度上达到 $(\varepsilon,\delta)$-差分隐私，其复杂度为 $\widetilde{O}\left(\frac{d^2}{\alpha^2} + \frac{d^2}{\varepsilon\alpha} + \frac{d^{2.5}}{\varepsilon}\right)$，在 $d$ 和 $1/\alpha$ 上为多项式，且对 $1/\varepsilon$、$1/\delta$ 和 $1/\beta$ 仅保持多对数依赖。
• 该估计器能提供精确估计，使得 $\|\widehat{\Sigma} - \Sigma\|_{\Sigma} \leq \alpha$ 且 $\|\widehat{\mu} - \mu\|_{\Sigma} \leq \alpha$ 的概率至少为 $1 - O(\beta)$。
• 通过使用差分隐私预处理矩阵和基于稳定性的差分隐私均值估计器，该方法消除了先前方法中对 $R$ 和 $K$ 的线性依赖。
• 预处理矩阵确保变换后的协方差 $A\Sigma A^T$ 具有恒定条件数，从而通过朴素差分隐私估计器实现稳定且精确的估计。
• 对于低秩协方差的退化高斯分布，该方法首先使用独立算法识别非零子空间，然后在该子空间中应用估计器，同时保持隐私性和准确性。