[論文レビュー] On the Generalization Properties of Differential Privacy

Kobbi Nissim, Uri Stemmer|arXiv (Cornell University)|Apr 22, 2015

Privacy-Preserving Technologies in Data参考文献 5被引用数 24

ひとこと要約

この論文は、適応的統計的クエリ（ASQ）設定における微分プライバシーのアルゴリズムの一般化境界を簡素化し、改善する。$(\varepsilon,\delta)$-微分プライバシーのメカニズムが確率 $1 - O(\delta \log(1/\varepsilon)/\varepsilon)$ で $O(\varepsilon)$ の精度を保証することを示し、この境界が対数要因を除いてタイトであることを証明する。また、直感的ではあるが誤りであるとされる「精度は確率 $1 - O(\delta)$ で成立する」という予想を反証する。この結果により、多項式対数的サンプル複雑性を有するプライベートなクエリ応答の理論的基盤が強化される。

ABSTRACT

A new line of work, started with Dwork et al., studies the task of answering statistical queries using a sample and relates the problem to the concept of differential privacy. By the Hoeffding bound, a sample of size $O(\log k/α^2)$ suffices to answer $k$ non-adaptive queries within error $α$, where the answers are computed by evaluating the statistical queries on the sample. This argument fails when the queries are chosen adaptively (and can hence depend on the sample). Dwork et al. showed that if the answers are computed with $(ε,δ)$-differential privacy then $O(ε)$ accuracy is guaranteed with probability $1-O(δ^ε)$. Using the Private Multiplicative Weights mechanism, they concluded that the sample size can still grow polylogarithmically with the $k$. Very recently, Bassily et al. presented an improved bound and showed that (a variant of) the private multiplicative weights algorithm can answer $k$ adaptively chosen statistical queries using sample complexity that grows logarithmically in $k$. However, their results no longer hold for every differentially private algorithm, and require modifying the private multiplicative weights algorithm in order to obtain their high probability bounds. We greatly simplify the results of Dwork et al. and improve on the bound by showing that differential privacy guarantees $O(ε)$ accuracy with probability $1-O(δ\log(1/ε)/ε)$. It would be tempting to guess that an $(ε,δ)$-differentially private computation should guarantee $O(ε)$ accuracy with probability $1-O(δ)$. However, we show that this is not the case, and that our bound is tight (up to logarithmic factors).

研究の動機と目的

• 適応的統計的クエリの文脈における微分プライバシーの理論的分析を簡素化・強化すること。
• $(\varepsilon,\delta)$-微分プライバシーが $O(\varepsilon)$ の精度を確率 $1 - O(\delta)$ で保証するかどうかという未解決の問題を解消すること。この予想が誤りであることが示される。
• 適応的クエリワークロード下での微分プライバシーのメカニズムに対してタイトな一般化境界を確立し、サンプル複雑性と確率的保証の点で先行研究を改善すること。

提案手法

• 論文は、プライバシーのパrameter $\varepsilon$ と $\delta$ に基づく精密な集中不等式を用いて、微分プライバシーのメカニズムの一般化特性を再分析する。
• 新たなカップリング技術を適用することで、プライベートな回答と真のクエリ値との乖離を抑え、よりタイトな高確率誤差境界を導出する。
• 適応的クエリワークロードの構造と微分プライバシーがもたらす安定性を活用し、失敗確率が $\delta$ ではなく $\delta \log(1/\varepsilon)/\varepsilon$ に比例することを導出する。
• 失敗確率が $\log(1/\varepsilon)$ に依存することを示す反例を構築することで、境界を $1 - O(\delta)$ に改善することはできないことを証明する。
• 特定のアルゴリズム（例：プライベートな乗算ウェイト）に依存するのではなく、微分プライバシーの一般的性質に焦点を当てる。
• アルゴリズム固有の修正に依存せず、より明快で自己完結的な証明を提供し、より強力で精密な境界を達成する。

実験結果

リサーチクエスチョン

• RQ1 適応的クエリ設定において、$(\varepsilon,\delta)$-微分プライバシーのメカニズムが $O(\varepsilon)$ の精度を確率 $1 - O(\delta)$ で保証できるか？
• RQ2 確率 $1 - O(\delta \log(1/\varepsilon)/\varepsilon)$ で $O(\varepsilon)$ の精度が達成されるという境界は、対数要因を除いてタイトか？
• RQ3 なぜ直感的な予想「$O(\varepsilon)$ の精度が確率 $1 - O(\delta)$ で成立する」が適応的クエリ設定では誤りとなるのか？
• RQ4 タイトさを損なわずに、微分プライバシーの一般化特性の分析をどのように簡素化できるか？
• RQ5 適応的統計的クエリワークロードにおいて、失敗確率は $\varepsilon$ と $\delta$ に対してどのように依存するか？

主な発見

• この論文は、$(\varepsilon,\delta)$-微分プライバシーのメカニズムが確率 $1 - O(\delta \log(1/\varepsilon)/\varepsilon)$ で $O(\varepsilon)$ の精度を保証することを確立した。これは、先行研究の境界に比べて顕著な改善である。
• この境界が対数要因を除いてタイトであることが示され、一般にはより良い失敗確率を得ることはできない。
• 直感的な予想「精度は確率 $1 - O(\delta)$ で成立する」が誤りであることが証明され、失敗確率は $\log(1/\varepsilon)$ に依存する必要がある。
• Dwork らや Bassily らの先行研究の結果を簡素化・強化し、アルゴリズム固有の修正に依存しない明快な証明を提供する。
• この結果は、プライベートな乗算ウェイトのような特殊メカニズムに限らず、すべての微分プライバシーのアルゴリズムに普遍的に成立する。
• この論文は、$k$ 個の適応的クエリに答える際のサンプル複雑性が、改善された高確率境界下でも多項式対数的（polylogarithmic）に保たれることを示している。