[论文解读] DP-PCA: Statistically Optimal and Differentially Private PCA

Xiyang Liu, Weihao Kong+2 more|arXiv (Cornell University)|May 27, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

DP-PCA 提出了一种差异私密主成分分析（PCA）算法，通过结合私密小批量梯度上升与方差自适应的私密均值估计，实现了统计上最优的误差率。该方法在子高斯数据下达到 $\tilde{O}(\sqrt{d/n} + d/(\varepsilon n))$ 的误差界，与隐私成本的信息论下界完全匹配，并可在 $n = \tilde{O}(d)$ 个样本下运行——优于以往方法所需的 $n = \Omega(d^{3/2})$ 样本量。

ABSTRACT

We study the canonical statistical task of computing the principal component from $n$ i.i.d.~data in $d$ dimensions under $(\varepsilon,δ)$-differential privacy. Although extensively studied in literature, existing solutions fall short on two key aspects: ($i$) even for Gaussian data, existing private algorithms require the number of samples $n$ to scale super-linearly with $d$, i.e., $n=Ω(d^{3/2})$, to obtain non-trivial results while non-private PCA requires only $n=O(d)$, and ($ii$) existing techniques suffer from a non-vanishing error even when the randomness in each data point is arbitrarily small. We propose DP-PCA, which is a single-pass algorithm that overcomes both limitations. It is based on a private minibatch gradient ascent method that relies on {\em private mean estimation}, which adds minimal noise required to ensure privacy by adapting to the variance of a given minibatch of gradients. For sub-Gaussian data, we provide nearly optimal statistical error rates even for $n= ilde O(d)$. Furthermore, we provide a lower bound showing that sub-Gaussian style assumption is necessary in obtaining the optimal error rate.

研究动机与目标

• 设计一种在 $(\varepsilon,\delta)$-差异私密性下实现最优统计误差率的差异私密 PCA 算法。
• 克服以往私密 PCA 方法存在的超线性样本复杂度 $n = \Omega(d^{3/2})$，该复杂度相较于非私密 PCA 的 $n = O(d)$ 为次优。
• 消除在数据噪声较低时误差无法消失的问题，该问题困扰着现有私密 PCA 算法。
• 证明子高斯尾部假设在差异私密性下实现最优误差率是信息论上必要的。

提出的方法

• DP-PCA 使用单轮私密小批量梯度上升算法来估计主成分。
• 采用私密均值估计方法，自适应地根据每个小批量梯度的方差添加噪声，以最小化隐私开销。
• 该方法用方差自适应的噪声添加替代梯度范数裁剪，从而在低噪声环境下降低误差。
• 利用小批量 SGD 减少迭代次数，避免依赖重排放大效应。
• 算法在假设 1 下进行分析，该假设定义了具有轻尾矩的子高斯类分布。
• 理论保证通过集中不等式以及用于私密经验分布估计的 Dvoretzky-Kiefer-Wolfowitz 型界推导得出。

实验结果

研究问题

• RQ1 能否设计一种差异私密 PCA 算法，使其误差率与非私密最优误差 $\tilde{\Theta}(\sqrt{d/n})$ 一致，同时保持隐私？
• RQ2 对于子高斯数据，是否可将私密 PCA 的样本复杂度从 $n = \Omega(d^{3/2})$ 降低至 $n = \tilde{O}(d)$？
• RQ3 是否可将隐私成本与数据噪声分离，使得当数据噪声趋近于零时误差也趋近于零？
• RQ4 子高斯尾部假设是否为实现差异私密 PCA 中最优误差所必需？
• RQ5 在一般分布下，差异私密 PCA 的误差是否存在信息论下界？

主要发现

• DP-PCA 在子高斯类数据下实现了 $\tilde{O}(\sqrt{d/n} + d/(\varepsilon n))$ 的误差界，与隐私项的信息论下界完全匹配。
• 该算法仅需 $n = \tilde{O}(d)$ 个样本即可实现非平凡误差，优于以往方法所需的 $n = \Omega(d^{3/2})$。
• 随着数据噪声减小，误差趋于消失，解决了以往私密 PCA 方法在低噪声环境下存在非消失误差的关键缺陷。
• 一个近乎匹配的下界表明，若无子高斯尾部假设，则 $\Omega(\sqrt{d/(\varepsilon n)})$ 的误差不可避免。
• 假设 1 中的子高斯类假设在信息论上是必需的；若无此假设，隐私成本无法低于 $\Omega(\sqrt{d/(\varepsilon n)})$。
• 使用方差自适应的私密均值估计可减少噪声注入，相比梯度范数裁剪，显著提升了算法效用。