[論文レビュー] Privately Answering Counting Queries with Generalized Gaussian Mechanisms

Arun Ganesh, Jiazheng Zhao|arXiv (Cornell University)|Oct 4, 2020

Privacy-Preserving Technologies in Data参考文献 12被引用数 2

ひとこと要約

本稿では、形状パラメータ p を持つ一般化ガウスノイズを用いた、k 個のカウントクエリに対する新たな微分プライバシー機構を提案する。この機構は、ℓ∞-誤差が O(√(k log log log k log(1/δ))/ϵ) に達し、これまでの最良の上界と下界の間の乗法的ギャップを O(√log log k) から O(√log log log k) に縮小する。この手法は一般化ガウス機構とスパースベクタ技法を組み合わせ、高誤差エントリをプライバシーを保ちつつ精緻化する。

ABSTRACT

We consider the problem of answering $k$ counting (i.e. sensitivity-1) queries about a database with $(ε, δ)$-differential privacy. We give a mechanism such that if the true answers to the queries are the vector $d$, the mechanism outputs answers $ ilde{d}$ with the $\ell_\infty$-error guarantee: $$\mathcal{E}\left[|| ilde{d} - d||_\infty ight] = O\left(\frac{\sqrt{k \log \log \log k \log(1/δ)}}ε ight).$$ This reduces the multiplicative gap between the best known upper and lower bounds on $\ell_\infty$-error from $O(\sqrt{\log \log k})$ to $O(\sqrt{\log \log \log k})$. Our main technical contribution is an analysis of the family of mechanisms of the following form for answering counting queries: Sample $x$ from a extit{Generalized Gaussian}, i.e. with probability proportional to $\exp(-(||x||_p/σ)^p)$, and output $ ilde{d} = d + x$. This family of mechanisms offers a tradeoff between $\ell_1$ and $\ell_\infty$-error guarantees and may be of independent interest. For $p = O(\log \log k)$, this mechanism already matches the previous best known $\ell_\infty$-error bound. We arrive at our main result by composing this mechanism for $p = O(\log \log \log k)$ with the sparse vector mechanism, generalizing a technique of Steinke and Ullman.

研究の動機と目的

• 微分プライバシーのカウントクエリにおける ℓ∞-誤差の、最良の既知の上界と下界の間の乗法的ギャップを縮小すること。
• 従来の手法よりもタイトな ℓ∞-誤差保証を達成する機構を開発すること、特に (ϵ,δ)-微分プライバシー下での O(√(k log log k log(1/δ))/ϵ) の境界を改善すること。
• ℓ1 と ℓ∞-誤差の間のトレードオフを提供する一般化ガウス機構のプライバシーおよび有効性特性を分析すること。この機構は、既存の手法よりも単純である。
• シュタインケとウルマンの手法を一般化し、一般化ガウス機構とスパースベクタ機構を合成することで、誤差制御を向上させること。
• 閉形式で表現され、容易にサンプリング可能なノイズ分布を持つ機構を提供すること。この機構はプライバシーを維持しながら、最悪ケース誤差を最小化する。

提案手法

• 真の答え d にノイズ x を加える機構を提案する。ここで x は形状 p とスケール σ の一般化ガウス分布から抽出され、すなわち exp(−(||x||p/σ)^p) に比例する。
• p = O(log log log k) の一般化ガウス機構を用いることで、各座標に対して独立なノイズを維持しつつ、ℓ∞-誤差の上界を改善する。
• 一般化ガウス機構とスパースベクタ機構を合成し、大きな誤差を持つエントリを微分プライバシーに準拠した方法で是正する。
• プライバシーと有効性のバランスを取るために、ノイズスケール σ = Θ(√(k^p log(1/δ))/ϵ) と設定する。これにより (ϵ,δ)-微分プライバシーが保証される。
• 一般化されたチェルノフ型不等式を用いた尾部バウンド解析により、各座標が閾値を超える確率を制御する。一般化ガウス分布の座標間の独立性を活用する。
• 和集合バウンドと集中不等式を用いて、高確率で高々 O(k / log^{2+2t}k) 個のエントリが大きな絶対値を持つことを示し、これによりスパースベクタによる是正が有効に可能となる。

実験結果

リサーチクエスチョン

• RQ1 一般化ガウス機構は、(ϵ,δ)-微分プライバシー下でカウントクエリに対して、ガウス分布やラプラス分布の機構よりも優れた ℓ∞-誤差を達成できるか？
• RQ2 微分プライバシークエリ公開における ℓ1 と ℓ∞-誤差の最適なトレードオフは何か？ そして、単一のノイズ分布によってこれを達成できるか？
• RQ3 一般化ガウス機構とスパースベクタ機構の合成により、既知の上界と下界の間の ℓ∞-誤差ギャップを縮小できるか？
• RQ4 p = O(log log log k) の一般化ガウスノイズを用いることで、従来の手法よりもタイトな ℓ∞-誤差上界が得られるか？
• RQ5 各座標で独立かつ閉形式でサンプリング可能なノイズを持つ機構は、強いプライバシー保証を維持しながら、近似的に最適な ℓ∞-誤差を達成できるか？

主な発見

• 提案された機構は、ℓ∞-誤差が O(√(k log log log k log(1/δ))/ϵ) に達し、上界と下界の間の乗法的ギャップを O(√log log k) から O(√log log log k) に縮小する。
• p = Θ(log log k) の場合、この機構は従来の最良の ℓ∞-誤差上界 O(√(k log log k log(1/δ))/ϵ) を達成するが、より単純な独立ノイズモデルを用いる。
• 一般化ガウス機構（p = O(log log log k)）とスパースベクタ機構を、適切にキャリブレートされたプライバシーパラメータで合成することで、(ϵ,δ)-微分プライバシーを保証する。
• ℓ∞-誤差が ct√(k^p log(1/δ)/ϵ) · (log log k)^{1/p} を超える確率は e^{-log^t k} で抑えられ、これは k の任意の多項式よりも速く減少する。
• ノイズ分布は解析的に扱いやすく、サンプリングが容易である。従来の手法とは異なり、依存ノイズを用いないため、実用性に優れる。
• 解析により、高確率で高々 O(k / log^{2+2t}k) 個のエントリが閾値を超えることが示され、これによりスパースベクタ機構による是正が効果的に可能となる。