[論文レビュー] DP-PCA: Statistically Optimal and Differentially Private PCA

Xiyang Liu, Weihao Kong+2 more|arXiv (Cornell University)|May 27, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

DP-PCA は、プライベートなミニバッチ勾配上昇と分散適応型プライベート平均推定を組み合わせることで、統計的に最適な誤差率を達成する微分プライバシーPCAアルゴリズムを提案する。この手法は、サブガウス型データに対して誤差境界 $\tilde{O}(\sqrt{d/n} + d/(\varepsilon n))$ を達成し、プライバシー費用の情報理論的下界と一致する。また、$n = \tilde{O}(d)$ のサンプルで動作可能であり、従来の方法が要求する $n = \Omega(d^{3/2})$ よりも優れている。

ABSTRACT

We study the canonical statistical task of computing the principal component from $n$ i.i.d.~data in $d$ dimensions under $(\varepsilon,δ)$-differential privacy. Although extensively studied in literature, existing solutions fall short on two key aspects: ($i$) even for Gaussian data, existing private algorithms require the number of samples $n$ to scale super-linearly with $d$, i.e., $n=Ω(d^{3/2})$, to obtain non-trivial results while non-private PCA requires only $n=O(d)$, and ($ii$) existing techniques suffer from a non-vanishing error even when the randomness in each data point is arbitrarily small. We propose DP-PCA, which is a single-pass algorithm that overcomes both limitations. It is based on a private minibatch gradient ascent method that relies on {\em private mean estimation}, which adds minimal noise required to ensure privacy by adapting to the variance of a given minibatch of gradients. For sub-Gaussian data, we provide nearly optimal statistical error rates even for $n= ilde O(d)$. Furthermore, we provide a lower bound showing that sub-Gaussian style assumption is necessary in obtaining the optimal error rate.

研究の動機と目的

• $(\varepsilon,\delta)$-微分プライバシーの下で、最適な統計的誤差率を達成する微分プライバシーPCAアルゴリズムを設計すること。
• 従来のプライベートPCA手法が要求する $n = \Omega(d^{3/2})$ の超線形的サンプル複雑度を克服し、非プライベートPCAの $n = O(d)$ と比較してより効率的なものにすること。
• 低ノイズデータの極限においても消えない誤差を解消すること。これは、既存のプライベートPCAアルゴリズムが直面する主な問題である。
• サブガウス型尾部仮定が、微分プライバシー下での最適誤差率を達成するために情報理論的に必要不可欠であることの確立すること。

提案手法

• DP-PCA は、主成分を推定するために、1回のパスでのプライベートなミニバッチ勾配上昇アルゴリズムを用いる。
• 各ミニバッチの勾配の分散に比例するノイズを適応的に追加するプライベート平均推定を採用し、プライバシーのオーバーヘッドを最小化する。
• 勾配ノルムクリッピングに代えて、分散適応型ノイズ追加を実装することで、低ノイズ領域における誤差を低減する。
• 反復回数を減らすためにミニバッチSGDを活用し、シャッフルによるプライバシーの強化に依存しない。
• アルゴリズムは、軽尾モーメントを持つサブガウス型分布を定義する仮定1の下で分析される。
• 理論的保証は、集中不等式およびプライベートな経験的分布推定のDvoretzky-Kiefer-Wolfowitz型境界を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを維持しつつ、非プライベートな最適誤差 $\tilde{\Theta}(\sqrt{d/n})$ と一致する誤差率を達成できるプライベートPCAアルゴリズムは存在するか？
• RQ2 サブガウス型データに対して、プライベートPCAのサンプル複雑度を $n = \Omega(d^{3/2})$ から $n = \tilde{O}(d)$ に低減可能か？
• RQ3 プライバシーコストをデータノイズから分離でき、データノイズがゼロに近づくと誤差が消えるようにできるか？
• RQ4 微分プライバシー下での最適誤差を達成するため、サブガウス型尾部仮定は必要不可欠か？
• RQ5 一般分布に対して、微分プライバシーPCAの誤差に関する情報理論的下界は何か？

主な発見

• DP-PCA は、サブガウス型データに対して誤差境界 $\tilde{O}(\sqrt{d/n} + d/(\varepsilon n))$ を達成し、プライバシー項の情報理論的下界と一致する。
• このアルゴリズムは、非自明な誤差を達成するために $n = \tilde{O}(d)$ のサンプルしか必要とせず、従来の方法が要求する $n = \Omega(d^{3/2})$ よりも優れている。
• データノイズが小さくなるにつれて誤差が消えるため、従来のプライベートPCA手法が低ノイズ領域で非消える誤差を抱えるという主な制限を解消した。
• ほぼ一致する下界により、サブガウス型尾部仮定がない場合、$\Omega(\sqrt{d/(\varepsilon n)})$ の誤差は避けられないことが示された。
• 仮定1におけるサブガウス型仮定は、情報理論的に必要不可欠である。この仮定がなければ、プライバシーコストを $\Omega(\sqrt{d/(\varepsilon n)})$ 未満にまで低下させることはできない。
• 分散適応型ノイズ追加を用いたプライベート平均推定により、勾配ノルムクリッピングに比べてノイズの注入量が減少し、結果としてユーティリティが向上した。