[論文レビュー] The Geometry of Differential Privacy: the Sparse and Approximate Cases

Aleksandar Nikolov, Kunal Talwar+1 more|arXiv (Cornell University)|Dec 3, 2012

Privacy-Preserving Technologies in Data参考文献 68被引用数 98

ひとこと要約

本稿では、相関付きガウスノイズを用いた $O(\log^2 d)$-近似メカニズムを提案し、$(\varepsilon,\delta)$-微分プライバシー線形クエリリリースを実現し、近似的に最適な精度を達成する。さらに、$d > n$ であるスパースデータベースに対しては、ガウスノイズと $\ell_1$-正則化回帰を組み合わせることで、多項対数的近似を達成し、カウンティングクエリの誤差境界を $\tilde{O}(\sqrt{n})$ まで改善する。

ABSTRACT

In this work, we study trade-offs between accuracy and privacy in the context of linear queries over histograms. This is a rich class of queries that includes contingency tables and range queries, and has been a focus of a long line of work. For a set of $d$ linear queries over a database $x \in \R^N$, we seek to find the differentially private mechanism that has the minimum mean squared error. For pure differential privacy, an $O(\log^2 d)$ approximation to the optimal mechanism is known. Our first contribution is to give an $O(\log^2 d)$ approximation guarantee for the case of $(\eps,δ)$-differential privacy. Our mechanism is simple, efficient and adds correlated Gaussian noise to the answers. We prove its approximation guarantee relative to the hereditary discrepancy lower bound of Muthukrishnan and Nikolov, using tools from convex geometry. We next consider this question in the case when the number of queries exceeds the number of individuals in the database, i.e. when $d > n riangleq \|x\|_1$. It is known that better mechanisms exist in this setting. Our second main contribution is to give an $(\eps,δ)$-differentially private mechanism which is optimal up to a $\polylog(d,N)$ factor for any given query set $A$ and any given upper bound $n$ on $\|x\|_1$. This approximation is achieved by coupling the Gaussian noise addition approach with a linear regression step. We give an analogous result for the $\eps$-differential privacy setting. We also improve on the mean squared error upper bound for answering counting queries on a database of size $n$ by Blum, Ligett, and Roth, and match the lower bound implied by the work of Dinur and Nissim up to logarithmic factors. The connection between hereditary discrepancy and the privacy mechanism enables us to derive the first polylogarithmic approximation to the hereditary discrepancy of a matrix $A$.

研究の動機と目的

• ヒストограмム上の線形クエリの文脈において、$(\varepsilon,\delta)$-微分プライバシー機構の近似保証のギャップを埋めること。
• 個々の人数 $n$ よりクエリ数 $d$ が多い（スパース状態）場合に、標準的な下界が適用されない状況でのクエリ精度の課題に対処すること。
• 特に $d > n$ のスパース状態において、カウンティングクエリの誤差境界を改善すること。
• 遺伝的分散と微分プライバシー機構との間の関係を確立し、分散の多項対数的近似を可能にする。
• 純粋および近似的な微分プライバシーの両状況で、近似的に最適な誤差を達成する効率的で単純なメカニズムの設計。

提案手法

• 相関付きガウスノイズの追加により、$(\varepsilon,\delta)$-微分プライバシー機構を構築し、最適機構に対する $O(\log^2 d)$ の近似を達成する。
• 凸幾何学の道具を用いて、[MN12] で示された遺伝的分散下界に基づく近似保証を証明する。
• スパース状態において、最適値からの誤差を $\operatorname{polylog}(d,N)$ の範囲に抑えるために、ガウスノイズの追加と $\ell_1$-ボール上での $\ell_1$-正則化回帰を組み合わせる。
• サンプリングと切り捨てを用いたSDPの可解性の構成的アプローチを採用し、経験的推定値が定数倍の要件を満たすことを保証する。
• 微分プライバシーが逆クエリ応答の分散を有界にすることを活用し、メカニズム出力の共分散行列に対する下界を導出する。
• 反復的精錬を用いて、クエリ部分問題から得られる正定値行列を組み合わせることで、半正定値計画問題（SDP）の妥当解を構築する。

実験結果

リサーチクエスチョン

• RQ1 一般の線形クエリの文脈において、$(\varepsilon,\delta)$-微分プライバシー機構に対して多項対数的近似比を達成できるか？
• RQ2 $d > n$ の場合に、精度とプライバシーの最適なトレードオフは何か？ また、このスパース状態で既存の境界を上回る機構を設計できるか？
• RQ3 遺伝的分散下界を用いて、微分プライバシー機構の近似保証を導出できるか？
• RQ4 先行研究の $\tilde{O}(n^{2/3})$ の境界を超えて、カウンティングクエリの誤差境界を改善できるか？
• RQ5 スパース状態において、$\ell_2^2$ 誤差が最適値から $\operatorname{polylog}(d,N)$ の範囲に収まる微分プライバシー機構を構築できるか？

主な発見

• 提案された $(\varepsilon,\delta)$-微分プライバシー機構は、最適機構に対する $O(\log^2 d)$ の近似を達成し、純粋微分プライバシーの最良既知の境界と一致する。
• スパース状態（$d > n$）において、機構は最適値からの平均二乗誤差を $\operatorname{polylog}(d,N)$ の範囲に抑えることができ、従来の境界を著しく改善する。
• 任意のカウンティングクエリに対して、期待誤差がクエリごとに $\tilde{O}(\sqrt{n})$ に抑えられ、[BLR08] の $\tilde{O}(n^{2/3})$ の境界を改善し、[DN03] の下界と対数要因を除いて一致する。
• 本稿は、微分プライバシー機構との関係を介して、行列 $A$ の遺伝的分散に対する最初の多項対数的近似を確立する。
• 機構は単純かつ効率的であり、相関付きガウスノイズと $\ell_1$-正則化回帰に依存し、構成的SDPベースの解析を備える。
• 解析により、微分プライバシーが逆クエリ応答の分散に下界をもたらすことが示され、半正定値計画問題の妥当解の構築が可能になる。