[論文レビュー] PrivTree: A Differentially Private Algorithm for Hierarchical Decompositions

Jun Zhang, Xiaokui Xiao+1 more|arXiv (Cornell University)|Jan 13, 2016

Cryptography and Data Security参考文献 54被引用数 23

ひとこと要約

PrivTree は、タイトなラプラス分布解析に基づく新しいノイズ機構を用いることで、再帰的深さを事前に定義する必要がなく、階層的データ分解のための微分プライバシー手法である。分割意思決定に定数ノイズのみを注入することで、空間的および系列データ公開における微分プライバシー下で最先端の手法を上回るデータユーティリティを達成する。

ABSTRACT

Given a set D of tuples defined on a domain Omega, we study differentially private algorithms for constructing a histogram over Omega to approximate the tuple distribution in D. Existing solutions for the problem mostly adopt a hierarchical decomposition approach, which recursively splits Omega into sub-domains and computes a noisy tuple count for each sub-domain, until all noisy counts are below a certain threshold. This approach, however, requires that we (i) impose a limit h on the recursion depth in the splitting of Omega and (ii) set the noise in each count to be proportional to h. This leads to inferior data utility due to the following dilemma: if we use a small h, then the resulting histogram would be too coarse-grained to provide an accurate approximation of data distribution; meanwhile, a large h would yield a fine-grained histogram, but its quality would be severely degraded by the increased amount of noise in the tuple counts. To remedy the deficiency of existing solutions, we present PrivTree, a histogram construction algorithm that also applies hierarchical decomposition but features a crucial (and somewhat surprising) improvement: when deciding whether or not to split a sub-domain, the amount of noise required in the corresponding tuple count is independent of the recursive depth. This enables PrivTree to adaptively generate high-quality histograms without even asking for a pre-defined threshold on the depth of sub-domain splitting. As concrete examples, we demonstrate an application of PrivTree in modelling spatial data, and show that it can also be extended to handle sequence data (where the decision in sub-domain splitting is not based on tuple counts but a more sophisticated measure). Our experiments on a variety of real datasets show that PrivTree significantly outperforms the states of the art in terms of data utility.

研究の動機と目的

• 再帰的深さとノイズ増幅の間の根本的ジレンマに取り組むこと：微分プライバシーにおける階層的分解の分野で、再帰的深さとノイズ増幅のトレードオフを解消すること。
• プライバシーまたはユーティリティを損なう可能性がある事前の最大再帰的深さ $ h $ を定義する必要をなくすこと。
• 微分プライバシーを保証しつつ、プライベートデータ上で細かく正確なヒストグラム構築を可能にするメカニズムを開発すること。
• カウントに基づかない分解、例えばマーカフモデルを用いた系列データへのアプローチの拡張。
• 実世界のデータセットにおいて、既存の最先端手法に比べて顕著なデータユーティリティの向上を示すこと。

提案手法

• PrivTree は、再帰的深さに依存せずにプライバシー漏洩を制限するための、ラプラス分布のタイトな解析を活用した新しいプライバシー機構を採用している。
• 再帰的深さ $ h $ に比例するノイズを避けるために、部分ドメインを分割するかどうかを決定するための定数ノイズ機構を導入している。
• アルゴリズムは、固定されたノイズスケールを用いたノイズ付きカウントを利用して、ドメインを再帰的に部分ドメインに分割し、$ \varepsilon $-微分プライバシーを保証している。
• 系列データの場合、マーカフモデルを統合して、原始的なカウントではなく、系列パターンの尤度に基づいて部分ドメインの分割を評価している。
• この手法は、多変数空間ヒストグラムおよび微分プライバシー下での頻出パターンマイニングの両方をサポートしている。
• ラティスベースのモデルと互換性があり、他の分解タスクへの拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 再帰的深さ $ h $ を固定しないで、微分プライバシー下での階層的分解を達成できるか。これにより、ユーティリティとプライバシーのトレードオフを回避できるか。
• RQ2 木の深さに関係なく、分割意思決定に定数のノイズを用いることは可能か。かつ、依然として微分プライバシーが保証されるか。
• RQ3 空間的および系列データにおいて、PrivTree は最先端の手法と比較して、どの程度高いデータユーティリティを達成するか。
• RQ4 コアメカニズムを、カウントに基づかない分解、例えば系列パターンマイニングに拡張可能か。
• RQ5 プライバシー予算 $ \varepsilon $ が、系列再構築およびパターン回復の精度に与える影響は何か。

主な発見

• 空間的データにおいて、PrivTree は、範囲カウントクエリにおける相対誤差が低いことから、最先端の手法を顕著に上回るデータユーティリティを達成している。
• 系列データ公開において、PrivTree は、特に $ \varepsilon \geq 0.2 $ の高いプライバシー予算において、N-gram や Truncate よりも高い精度を達成している。
• PrivTree が生成する系列長の分布の全変動距離は、Truncate と同等であり、N-gram よりもはるかに低い。これは、分布の忠実度が優れていることを示している。
• EMベースの手法は $ k $ の増加に伴い精度が低下するが、PrivTree は設定に関係なく一貫したパフォーマンスを維持している。
• マーカフモデルを用いた系列データへの拡張により、PrivTree は切断された系列の正確な回復が可能であり、パターン再構築の耐性が裏付けられている。
• ヒューリスティックベースのアプローチが失敗する歪んだ実世界のデータセットに対しても、PrivTree のパフォーマンスは安定的かつ効果的である。