[論文レビュー] Differentially Private Community Detection for Stochastic Block Models

Mohamed Seif, Dung Nguyen+2 more|arXiv (Cornell University)|Jan 31, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿は、$(\epsilon,\delta)$-エッジ微分プライバシーの下でストークスティックブロックモデルに対する微分プライバシー付きコミュニティ検出アルゴリズムを提案し、安定性に基づく、サンプリングに基づく、およびグラフ摂動の3つのメカニズムを分析する。安定性およびサンプリング手法は $\epsilon = \mathcal{O}(1)$ で優れたプライバシー-精度トレードオフを達成するが、グラフ摂動は正確な回復のためには $\epsilon = \Omega(\log n)$ 必要であり、プライバシー予算と計算効率の間の根本的なトレードオフを示している。

ABSTRACT

The goal of community detection over graphs is to recover underlying labels/attributes of users (e.g., political affiliation) given the connectivity between users (represented by adjacency matrix of a graph). There has been significant recent progress on understanding the fundamental limits of community detection when the graph is generated from a stochastic block model (SBM). Specifically, sharp information theoretic limits and efficient algorithms have been obtained for SBMs as a function of $p$ and $q$, which represent the intra-community and inter-community connection probabilities. In this paper, we study the community detection problem while preserving the privacy of the individual connections (edges) between the vertices. Focusing on the notion of $(ε, δ)$-edge differential privacy (DP), we seek to understand the fundamental tradeoffs between $(p, q)$, DP budget $(ε, δ)$, and computational efficiency for exact recovery of the community labels. To this end, we present and analyze the associated information-theoretic tradeoffs for three broad classes of differentially private community recovery mechanisms: a) stability based mechanism; b) sampling based mechanisms; and c) graph perturbation mechanisms. Our main findings are that stability and sampling based mechanisms lead to a superior tradeoff between $(p,q)$ and the privacy budget $(ε, δ)$; however this comes at the expense of higher computational complexity. On the other hand, albeit low complexity, graph perturbation mechanisms require the privacy budget $ε$ to scale as $Ω(\log(n))$ for exact recovery. To the best of our knowledge, this is the first work to study the impact of privacy constraints on the fundamental limits for community detection.

研究の動機と目的

• ストークスティックブロックモデルにおいて $(\epsilon,\delta)$-エッジ微分プライバシーの下で正確なコミュニティ回復のための情報理論的限界を確立すること。
• 接続確率 $p$, $q$、プライバシー予算 $(\epsilon,\delta)$、計算複雑性の間のトレードオフを分析すること。
• 安定性に基づく、サンプリングに基づく、およびグラフ摂動の3つのクラスの微分プライバシー機構を評価すること。
• 各メカニズムにおける正確な回復に必要な最小のプライバシー予算を特定すること、特に密度が高い状態の下で。

提案手法

• エッジの摂動に対して推定子の安定性を確認することで、微分プライバシーを保証する安定性メカニズム（Thakurta & Smith, 2013）を用いる。
• エッジをランダムにサンプリングし、サンプルされたグラフにノイズを適用することでプライバシーを保持するサンプリングベースのメカニズムを適用する。
• 隣接行列に直接ノイズを加えることでグラフ摂動を実装し、指数分布メカニズムやラプラスノイズを用いる。
• 集中不等式および尾部バウンド（チェルノフ-ホフディングおよびベルンシュタイン不等式を含む）を用いて回復の閾値を分析する。
• 各メカニズムについて、$\epsilon$, $\delta$, $n$ の観点から回復閾値 $\sqrt{a} - \sqrt{b}$ の理論的バウンドを導出する。
• 和集合バウンドおよび二項分布の尾部近似を用いて、プライバシー制約下での誤ったコミュニティ割り当ての確率をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 エッジDPの下で正確なコミュニティ回復を達成するための、内部および外部コミュニティ間の接続確率 $p$ と $q$ とプライバシー予算 $(\epsilon,\delta)$ の間の根本的トレードオフは何か？
• RQ2 安定性ベース、サンプリングベース、およびグラフ摂動の各微分プライバシー機構は、プライバシー-精度および計算複雑性の観点でどのように比較できるか？
• RQ3 安定性ベースの機構は $\epsilon = \mathcal{O}(1)$ を達成しつつ正確な回復を可能にするか？また、その場合に必要な $\sqrt{a} - \sqrt{b}$ 閾値は何か？
• RQ4 グラフ摂動はより大きなプライバシー予算を必要とするか？ もしそうならば、正確な回復のためには $\epsilon = \Omega(\log n)$ が必須か？
• RQ5 計算複雑性は、厳密なプライバシー制約下での正確な回復の実現可能性にどのような影響を与えるか？

主な発見

• 安定性ベースおよびサンプリングベースの機構は $\epsilon = \mathcal{O}(1)$ および $\delta = 1/n^2$ を達成し、最小限の予算で強力なプライバシーを実現できる。
• 安定性およびサンプリング機構の回復閾値は、それぞれ $\sqrt{a} - \sqrt{b} \geq \sqrt{2} \cdot \sqrt{1 + 3/(2\epsilon)}$ および $\sqrt{2} \cdot \sqrt{2 + 3/(2\epsilon)}$ である。
• グラフ摂動機構は正確な回復のためには $\epsilon = \Omega\left(\log n\right)$ 必要であり、顕著なプライバシーコストを示している。
• 安定性メカニズムは $\epsilon = \mathcal{O}(1)$ で正確な回復を達成できるが、$\mathcal{O}(\exp(n))$ の時間計算量を伴う。
• サンプリングベースの機構は $\mathcal{O}(\exp(n))$ の時間計算量を示すが、グラフ摂動は $\mathcal{O}(\text{poly}(n))$ の計算量を達成するが、$\epsilon$ がより高い。
• 理論的バウンドにより、正確な回復のためには $\sqrt{a} - \sqrt{b} > \sqrt{r}$ が必須であり、プライバシー制約に応じてこの閾値は使用されるメカニズムに応じてシフトすることが確認された。