[論文レビュー] A Central Limit Theorem for Differentially Private Query Answering

Jinshuo Dong, Weijie Su+1 more|arXiv (Cornell University)|Mar 15, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用数 5

ひとこと要約

本稿は、微分プライバシーのクエリ回答における中心極限定理を確立し、密度が $\mathrm{e}^{-\|x\|_p^\alpha}}$ に比例するノイズ分布が、高次元においてガウス型微分プライバシー（GDP）に収束することを示している。ガウス型マシンが、プライバシーと精度のトレードオフを最適化することを証明しており、プライバシーのパラメータと $\ell_2$-損失の積が次元に下界を持つことから、このようなノイズ族の中でその最適性が鋭く保証されている。

ABSTRACT

Perhaps the single most important use case for differential privacy is to privately answer numerical queries, which is usually achieved by adding noise to the answer vector. The central question, therefore, is to understand which noise distribution optimizes the privacy-accuracy trade-off, especially when the dimension of the answer vector is high. Accordingly, extensive literature has been dedicated to the question and the upper and lower bounds have been matched up to constant factors [BUV18, SU17]. In this paper, we take a novel approach to address this important optimality question. We first demonstrate an intriguing central limit theorem phenomenon in the high-dimensional regime. More precisely, we prove that a mechanism is approximately Gaussian Differentially Private [DRS21] if the added noise satisfies certain conditions. In particular, densities proportional to $\mathrm{e}^{-\|x\|_p^α}$, where $\|x\|_p$ is the standard $\ell_p$-norm, satisfies the conditions. Taking this perspective, we make use of the Cramer--Rao inequality and show an "uncertainty principle"-style result: the product of the privacy parameter and the $\ell_2$-loss of the mechanism is lower bounded by the dimension. Furthermore, the Gaussian mechanism achieves the constant-sharp optimal privacy-accuracy trade-off among all such noises. Our findings are corroborated by numerical experiments.

研究の動機と目的

• 高次元における微分プライバシーの数値クエリ回答のための最適なノイズ分布という根本的問題を解決すること。
• プライバシー制約を緩和しても、1次元ではトゥーリング型ラプラス分布よりもガウス型マシンが性能が劣る理由を理解すること。
• 1次元のメカニズムに関する知見が、高次元のクエリワークロードにどのように拡張可能かを調査すること。
• 一般のノイズメカニズムがガウス型微分プライバシー（GDP）に漸近的に収束する理論的基盤を確立すること。
• Cramér–Rao不等式を用いてプライバシーと精度のトレードオフの鋭い下界を導出し、ガウス型マシンが定数因子を除いて最適であることを示すこと。

提案手法

• ノイズ密度にややきつい正則性条件を課した場合に、高次元ノイズ追加メカニズムに対して中心極限定理を証明し、そのメカニズムがガウス型微分プライバシー（GDP）に収束することを示した。
• 密度が $\mathrm{e}^{-\|x\|_p^\alpha}}$ に比例するノイズ分布を分析し、ラプラス分布（$p=1, \alpha=1$）とガウス分布（$p=2, \alpha=2$）を特別な場合として含む。
• Cramér–Rao不等式を適用して、プライバシーのパラメータ $\varepsilon$ と $\ell_2$-損失の積の下界を導出し、それが次元 $n$ に比例することを示した。
• 対数尤度比の2次までのテイラー展開を用いて、プライバシー損失分布を分析し、高次元の漸近的条件下でGDPへの収束を確立した。
• Lindeberg–Lévyの中心極限定理の多次元版を用いて、適切なスケーリングのもとでプライバシー損失の確率変数が正規分布に分布収束することを示した。
• $n=30$ の有限次元設定においても、GDPへの収束が速いことを示す数値実験により理論的結果を検証した。

実験結果

リサーチクエスチョン

• RQ1 高次元の漸近的条件下で、微分プライバシーのメカニズムに対して中心極限定理を確立できるか？
• RQ2 裾が重たいまたはサブガウス型の尾を持つノイズ分布は、次元が増加するにつれてガウス型微分プライバシーに収束するか？
• RQ3 密度が $\mathrm{e}^{-\|x\|_p^\alpha}}$ に比例するすべてのノイズ分布の中で、ガウス型マシンはプライバシーと精度のトレードオフにおいて最適か？
• RQ4 Cramér–Rao不等式のような情報理論的ツールを用いて、プライバシーと精度のトレードオフの根本的な下界を導出できるか？
• RQ5 1次元ではガウス型マシンがトレuncatedラプラスよりも性能が劣るが、このギャップは高次元でも持続するか？

主な発見

• 微分プライバシーのメカニズムに対して中心極限定理が成立する：ノイズ密度にややきつい正則性条件が満たされれば、次元が増加するにつれてプライバシー損失は正規分布に収束する。
• 密度が $\mathrm{e}^{-\|x\|_p^\alpha}}$ に比例するノイズ分布は、ガウス型微分プライバシー（GDP）への収束条件を満たしており、ラプラス分布やガウス分布を特別な場合として含む。
• プライバシーのパラメータ $\varepsilon$ とメカニズムの $\ell_2$-損失の積は次元 $n$ に下界を持つことから、根本的なトレードオフが確立された。
• ガウス型マシンはこの下界における鋭い定数を達成しており、すべてのこのようなノイズ族の中で定数因子を除いて最適であることが示された。
• 数値実験により、$n=30$ でもGDPへの収束が速いことが確認され、理論的漸近的結果を支持した。
• 解析により、高次元においては、1次元での非最適な振る舞いを除いて、プライバシーと精度のトレードオフをガウス型マシンの性能を超えて改善することは不可能であることが明らかになった。