[論文レビュー] Efficient Algorithms for Privately Releasing Marginals via Convex Relaxations

Cynthia Dwork, Aleksandar Nikolov+1 more|arXiv (Cornell University)|Aug 6, 2013

Privacy-Preserving Technologies in Data参考文献 24被引用数 6

ひとこと要約

この論文は、凸緩和とFrank-Wolfeアルゴリズムを用いて、k次元マージナルクエリの微分プライバシー解放のための多項式時間アルゴリズムを提示している。平均誤差は Õ(√n ⋅ d^{⌈k/2⌉/4}) を達成し、k=2の場合に既知の最良の情報理論的上限と一致しており、n が小さいときには従来の効率的手法を改善する。この手法は幾何的技術とGrothendieckの不等式を活用し、近似的に最適な誤差スケーリングを実現する、効率的かつ正確なプライベートクエリ解放を可能にする要約生成器を設計する。

ABSTRACT

Consider a database of $n$ people, each represented by a bit-string of length $d$ corresponding to the setting of $d$ binary attributes. A $k$-way marginal query is specified by a subset $S$ of $k$ attributes, and a $|S|$-dimensional binary vector $β$ specifying their values. The result for this query is a count of the number of people in the database whose attribute vector restricted to $S$ agrees with $β$. Privately releasing approximate answers to a set of $k$-way marginal queries is one of the most important and well-motivated problems in differential privacy. Information theoretically, the error complexity of marginal queries is well-understood: the per-query additive error is known to be at least $Ω(\min\{\sqrt{n},d^{\frac{k}{2}}\})$ and at most $ ilde{O}(\min\{\sqrt{n} d^{1/4},d^{\frac{k}{2}}\})$. However, no polynomial time algorithm with error complexity as low as the information theoretic upper bound is known for small $n$. In this work we present a polynomial time algorithm that, for any distribution on marginal queries, achieves average error at most $ ilde{O}(\sqrt{n} d^{\frac{\lceil k/2 ceil}{4}})$. This error bound is as good as the best known information theoretic upper bounds for $k=2$. This bound is an improvement over previous work on efficiently releasing marginals when $k$ is small and when error $o(n)$ is desirable. Using private boosting we are also able to give nearly matching worst-case error bounds. Our algorithms are based on the geometric techniques of Nikolov, Talwar, and Zhang. The main new ingredients are convex relaxations and careful use of the Frank-Wolfe algorithm for constrained convex minimization. To design our relaxations, we rely on the Grothendieck inequality from functional analysis.

研究の動機と目的

• 微分プライバシー下でのk次元マージナルクエリの解放に、計算的に効率的かつ情報理論的下限に近い誤差を達成するメカニズムを設計すること。
• 小さなnに対して低誤差を達成するが、指数的実行時間となる従来の手法の課題を克服すること。
• 平均誤差の保証を最悪ケース誤差の境界に変換できる、プライベートブースティングを可能にする要約生成器を開発すること。
• n が Õ(d^{⌈k/2⌉/2} ⋅ α^{-2}) に達するような最小限のnに対し、1クエリあたりの誤差を αn に抑えること。これは従来の効率的アルゴリズムを改善する。
• 凸緩和とGrothendieckの不等式を用いて、プライベートデータ解放のための実行可能で効率的な最適化フレームワークを設計すること。

提案手法

• 関数解析からのGrothendieckの不等式を用いて、マージナルクエリ解放問題の凸緩和を導出する。
• 緩和された最適化問題を効率的に解くために、制約付き凸最小化にFrank-Wolfeアルゴリズムを適用する。
• 低誤差で、微分プライバシーを満たすデータベースのコンactな要約表現を生成する基本的な要約生成器を構築する。
• 平均誤差の保証を、すべてのクエリに対して最悪ケース誤差境界に変換するため、プライベートブースティングを適用する。
• 出力されるデータベースがノイズを含むクエリ回答と整合的でありながら、プライバシーを保持することを保証する。
• 実行時間はnおよびd^kに関して多項式的であり、中程度のdおよびkに対してスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 nおよびd^kに関して多項式的実行時間であり、かつ情報理論的下限に近い誤差を達成する、k次元マージナルクエリの微分プライバシー解放のためのメカニズムを設計できるか？
• RQ2 凸緩和と幾何的技術を用いて、小さなnにおいても多項式的時間で近似的に最適な誤差を達成できるか？
• RQ3 最悪ケース誤差の保証を可能にする、効率的な要約生成器を構築することは可能か？
• RQ4 Grothendieckの不等式を有効に活用して、プライベートクエリ解放のための実行可能な緩和を設計できるか？
• RQ5 提案手法が、n = Õ(d^{⌈k/2⌉/2} ⋅ α^{-2}) のとき、誤差を αn に抑えることができ、従来の効率的アルゴリズムを改善するか？

主な発見

• アルゴリズムは、任意のk次元マージナルクエリの分布に対して平均誤差 Õ(√n ⋅ d^{⌈k/2⌉/4}) を達成し、k=2の場合に既知の最良の情報理論的上限と一致する。
• 最悪ケース誤差に関しては、高確率で O(√n ⋅ d^{⌈k/2⌉/4} ⋅ (k log d + log 1/δ)^{1/2} ⋅ (log n)^{1/4} ⋅ (k log d)^{3/4} / ε^{1/2}) を達成する。
• 実行時間はnおよびd^kに関して多項式的であり、nが小さい場合に情報理論的下限の多項対数的要因内に誤差を達成する最初の効率的アルゴリズムである。
• n がdに対して指数的でなく、かつα < 1のとき誤差αnを達成したい場合、従来の効率的アルゴリズムを上回る。
• 凸緩和とGrothendieckの不等式の活用により、最適化の複雑さが顕著に低減されつつ、プライバシーと正確性が維持される。
• メカニズムはプライベートブースティングをサポートしており、平均誤差から最悪ケース誤差への変換を最小限のオーバーヘッドで可能にする。