[論文レビュー] Faster Algorithms for Privately Releasing Marginals

Justin Thaler, Jonathan Ullman+1 more|arXiv (Cornell University)|May 8, 2012

Privacy-Preserving Technologies in Data参考文献 4被引用数 19

ひとこと要約

本稿では、実行時間および最小データベースサイズがいずれも d^k より著しく小さい、初めての微分プライベートな k パラメータマージナルの公開アルゴリズムを提示する。最悪ケース誤差が O(1) である時間 d^{O(√k)} で実現可能である。本手法は、多項式基底の係数にノイズを追加することで、多項式近似を用いて効率的にマージナルクエリを表現・プライベートに公開する。これにより、k が大きくても指数的でない実行時間が実現可能となる。

ABSTRACT

We study the problem of releasing $k$-way marginals of a database $D \in (\{0,1\}^d)^n$, while preserving differential privacy. The answer to a $k$-way marginal query is the fraction of $D$'s records $x \in \{0,1\}^d$ with a given value in each of a given set of up to $k$ columns. Marginal queries enable a rich class of statistical analyses of a dataset, and designing efficient algorithms for privately releasing marginal queries has been identified as an important open problem in private data analysis (cf. Barak et. al., PODS '07). We give an algorithm that runs in time $d^{O(\sqrt{k})}$ and releases a private summary capable of answering any $k$-way marginal query with at most $\pm .01$ error on every query as long as $n \geq d^{O(\sqrt{k})}$. To our knowledge, ours is the first algorithm capable of privately releasing marginal queries with non-trivial worst-case accuracy guarantees in time substantially smaller than the number of $k$-way marginal queries, which is $d^{Θ(k)}$ (for $k \ll d$).

研究の動機と目的

• 非自明な最悪ケース精度保証を備えた、効率的な微分プライベートな k パラメータマージナル公開アルゴリズムの設計。
• d^{Θ(k)} または 2^d のスケーリングを示す従来手法の指数的実行時間ボトルネックの克服、たとえ k が小さい場合でも。
• プライベートなマージナル公開において、低い実行時間と低い標本複雑度（n ≥ d^{O(√k)}）の両方を達成すること。
• n ≪ d^k のような状況、たとえば中程度の k を持つ大規模データセットにおいて、プライベートなデータ公開の適用範囲を拡大すること。
• 多項式近似を用いた一般化可能なプライベートクエリ公開フレームワークの提供、他のクエリクラスへの適応も可能にすること。

提案手法

• アルゴリズムは、ブール立方体 {0,1}^d 上の k パラメータマージナルクエリの族を、低次の実多項式で一様近似する。
• クエリ空間を効率的に表現するため、総次数 O(√k log(1/α)) の単項式の基底を構築する。
• 統計的クエリオラクルを介して真のマージナルカウントを計算し、多項式近似の係数にキャリブレートされたラプラスノイズを追加する。
• 多項式係数の感度を係数ベクトルの ℓ1 ノルムで制限することで、(ε, δ)-微分プライバシーを保証する。
• 次数 t の m 変数における単項式の数が O(m^t) であるという事実を活用し、t = O(√k) のとき k に対して指数的でない O(m^t) となる。
• 最終的なプライベートな要約により、クエリパターンにおけるノイズ付き多項式の評価によって、任意の k パラメータマージナルクエリを ±α の加法的誤差で回答可能となる。

実験結果

リサーチクエスチョン

• RQ1 d^k より著しく低い実行時間で、k パラメータマージナルを微分プライベートに公開するアルゴリズムを設計可能か？
• RQ2 n が d^{O(√k)} のとき、指数的でない時間内に定数の最悪ケース誤差（例：±0.01）を達成可能か？
• RQ3 多項式近似を用いることで、マージナルクエリのプライベートなクエリ公開の複雑度を低減可能か？
• RQ4 プライベートなマージナル公開において、実行時間、標本複雑度、誤差のトレードオフはいかなるものか？
• RQ5 統計的クエリモデルを用いて、マージナルクエリのための指数的でないクエリ複雑度を持つ微分プライベートなアルゴリズムを実装可能か？

主な発見

• アルゴリズムは時間 d^{O(√k)} で実行され、n ≥ d^{O(√k)}/ε の条件下で、すべての k パラメータマージナルクエリを ±α の加法的誤差で回答可能なプライベートな要約を提供する。
• k = d の場合、アルゴリズムは時間 2^{Õ(√d)} で実行され、すべてのマージナルを指数的でない時間で公開する最初の既知のアルゴリズムである。
• n ≥ d^{O(√k)} で ε が定数である場合、最悪ケース誤差が ±0.01 である確率が高くなる。
• 必要な統計的クエリの数は d および √k に対して多項式的であり、k が定数のとき、統計的クエリモデルにおいて多項式的クエリ複雑度で実装可能となる。
• 本手法は、単調な論理和に限定されず、係数が有界な低次の多項式で一様近似可能な任意のクエリ族に一般化可能である。
• Klivans と Sherstov の下界から、一般関数族を用いた場合、k パラメータ論理和に対して少なくとも 2^{Ω(√k)} のサイズを必要とするため、著しい改善は不可能であることが示唆される。