[論文レビュー] Pan-private Algorithms: When Memory Does Not Help

Darakhshan Mir, S. Muthukrishnan+2 more|arXiv (Cornell University)|Sep 8, 2010

Privacy-Preserving Technologies in Data参考文献 12被引用数 3

ひとこと要約

本稿では、内部メモリが露出しても差分プライバシーを保証するためのノイジーグレースティング技術を用いて、基本的なカウントタスクである重複数の数え上げとヘビーハイターのための、改善されたパンプライベートストリーミングアルゴリズムを提示する。無制限のメモリが精度を著しく向上させないことを示し、ノイジーデコーディングを用いたタイトな下界を確立し、重複数の推定において最適な加法的誤差バウンドと、ヘビーハイターにおいては最悪ケースO(k)の近似を達成する。

ABSTRACT

Consider updates arriving online in which the $t$th input is $(i_t,d_t)$, where $i_t$'s are thought of as IDs of users. Informally, a randomized function $f$ is {\em differentially private} with respect to the IDs if the probability distribution induced by $f$ is not much different from that induced by it on an input in which occurrences of an ID $j$ are replaced with some other ID $k$ Recently, this notion was extended to {\em pan-privacy} where the computation of $f$ retains differential privacy, even if the internal memory of the algorithm is exposed to the adversary (say by a malicious break-in or by fiat by the government). This is a strong notion of privacy, and surprisingly, for basic counting tasks such as distinct counts, heavy hitters and others, Dwork et al~\cite{dwork-pan} present pan-private algorithms with reasonable accuracy. The pan-private algorithms are nontrivial, and rely on sampling. We reexamine these basic counting tasks and show improved bounds. In particular, we estimate the distinct count $\Dt$ to within $(1\pm \eps)\Dt \pm O(\polylog m)$, where $m$ is the number of elements in the universe. This uses suitably noisy statistics on sketches known in the streaming literature. We also present the first known lower bounds for pan-privacy with respect to a single intrusion. Our lower bounds show that, even if allowed to work with unbounded memory, pan-private algorithms for distinct counts can not be significantly more accurate than our algorithms. Our lower bound uses noisy decoding. For heavy hitter counts, we present a pan private streaming algorithm that is accurate to within $O(k)$ in worst case; previously known bound for this problem is arbitrarily worse. An interesting aspect of our pan-private algorithms is that, they deliberately use very small (polylogarithmic) space and tend to be streaming algorithms, even though using more space is not forbidden.

研究の動機と目的

• 無制限のメモリがパンプライベートアルゴリズムにおける基本的カウントタスクの精度を向上させられるかどうかという根本的な問いに応えること。
• 内部状態が攻撃者に露出しても差分プライバシーを維持するパンプライベートストリーミングアルゴリズムを設計すること。
• 重複数推定におけるパンプライベートアルゴリズムの精度に対するタイトな下界を確立し、メモリが役立たないことを示すこと。
• ヘビーハイター数の推定において、最悪ケースO(k)の近似誤差を持つ、初めてのパンプライベートストリーミングアルゴリズムを開発すること。
• 特に正負の更新が混在する問題において、ストリーミング環境におけるパンプライバシーの限界を調査すること。

提案手法

• ストリーミング文脈におけるノイジーグレースティング技術を用いて、(1±ε)D ± O(polylog m) の加法的誤差で重複数を推定する。
• スケッチにランダムレスポンス機構を適用し、内部状態が漏洩してもパンプライバシーを保証する。
• ノイジーデコーディングアプローチを用いて下界を証明し、無制限のメモリを用いても、提案されたものより著しく高い精度を達成できないことを示す。
• ペアワイズ独立ハッシングとノイズ注入を用いて、内積とクロップド周波数モーメント（T₂）のランダム推定器を用いる。
• 推定誤差をノイジーグレースティングプロセスでバウンドするために、ホフディングの不等式に依存する。
• 既知のF₁に制約を緩和し、指数的に増加するF₁の推定値を用いた複数の並列インスタンスを実行し、クエリ時に最も適合するものを選択する。

実験結果

リサーチクエスチョン

• RQ1 無制限のメモリが与えられた場合、パンプライベートアルゴリズムが重複数推定において著しく高い精度を達成できるか？
• RQ2 無制限のストレージを有しても、パンプライベートアルゴリズムが重複数推定において達成可能な精度の根本的限界は何か？
• RQ3 ヘビーハイター数の推定において、最悪ケースO(k)の近似誤差を持つパンプライベートストリーミングアルゴリズムを設計できるか？
• RQ4 ノイジースケッチの使用が、パンプライベート計算におけるプライバシーと有用性のトレードオフにどのように影響するか？
• RQ5 標準的なストリーミング技術を、メモリが露出してもパンプライバシーを満たすようにどれほど適応できるか？

主な発見

• 本稿では、ノイジーデコーディングの議論を用いて、無制限のメモリを有しても、パンプライベートアルゴリズムが重複数推定においてO(polylog m)の加法的誤差を下回ることは不可能であることを証明する。
• 重複数D(t)を(1±ε)D(t) ± O(polylog m)の範囲で推定するパンプライベートストリーミングアルゴリズムを提示し、情報理論的下界と一致する。
• ヘビーハイター数の推定において、最悪ケースO(k)の近似誤差を持つパンプライベートアルゴリズムを設計し、従来の任意に悪い誤差バウンドを改善する。
• 提案されたアルゴリズムは、無制限のメモリが許可されていても、本質的にストリーミング的であり、ポリログ時間しか使用しない。
• ノイジースケッチとランダムレスポンスの使用により、小さなメモリを必要とせず、パンプライバシーを達成でき、また、メモリサイズが精度を向上させないことを示す。
• クロップド内積推定器 ˜(a·a′)(τ) がパンプライベートかつ不偏であり、誤差がホフディングの不等式でバウンドされることを示す。