[论文解读] Differentially Private Community Detection for Stochastic Block Models

Mohamed Seif, Dung Nguyen+2 more|arXiv (Cornell University)|Jan 31, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了在 $(\epsilon,\delta)$-edge differential privacy 下针对随机块模型的差分隐私社区检测算法，分析了三种机制：基于稳定性的方法、基于采样的方法和图扰动方法。研究发现，基于稳定性和基于采样的方法在 $\epsilon = \mathcal{O}(1)$ 时可实现更优的隐私-准确率权衡，而图扰动方法则需要 $\epsilon = \Omega(\log n)$ 才能实现精确恢复，凸显了隐私预算与计算效率之间的根本性权衡。

ABSTRACT

The goal of community detection over graphs is to recover underlying labels/attributes of users (e.g., political affiliation) given the connectivity between users (represented by adjacency matrix of a graph). There has been significant recent progress on understanding the fundamental limits of community detection when the graph is generated from a stochastic block model (SBM). Specifically, sharp information theoretic limits and efficient algorithms have been obtained for SBMs as a function of $p$ and $q$, which represent the intra-community and inter-community connection probabilities. In this paper, we study the community detection problem while preserving the privacy of the individual connections (edges) between the vertices. Focusing on the notion of $(ε, δ)$-edge differential privacy (DP), we seek to understand the fundamental tradeoffs between $(p, q)$, DP budget $(ε, δ)$, and computational efficiency for exact recovery of the community labels. To this end, we present and analyze the associated information-theoretic tradeoffs for three broad classes of differentially private community recovery mechanisms: a) stability based mechanism; b) sampling based mechanisms; and c) graph perturbation mechanisms. Our main findings are that stability and sampling based mechanisms lead to a superior tradeoff between $(p,q)$ and the privacy budget $(ε, δ)$; however this comes at the expense of higher computational complexity. On the other hand, albeit low complexity, graph perturbation mechanisms require the privacy budget $ε$ to scale as $Ω(\log(n))$ for exact recovery. To the best of our knowledge, this is the first work to study the impact of privacy constraints on the fundamental limits for community detection.

研究动机与目标

• 建立在 $(\epsilon,\delta)$-edge differential privacy 下随机块模型中精确社区恢复的信息论极限。
• 分析连接概率 $p$、$q$、隐私预算 $(\epsilon,\delta)$ 与计算复杂度之间的权衡关系。
• 评估三类差分隐私机制：基于稳定性的方法、基于采样的方法和图扰动方法。
• 确定每种机制实现精确恢复所需的最小隐私预算，特别是在稠密区域。

提出的方法

• 使用稳定性机制（Thakurta & Smith, 2013）通过验证估计器在边扰动下的稳定性来确保差分隐私。
• 应用基于采样的机制，通过随机采样边并对采样后的图添加噪声以保护隐私。
• 采用图扰动方法，通过直接向邻接矩阵添加噪声实现，例如使用指数机制或拉普拉斯噪声。
• 利用集中极限不等式和尾部概率界限分析恢复阈值，包括切尔诺夫-霍夫丁不等式和伯恩斯坦不等式。
• 为每种机制推导恢复阈值 $\sqrt{a} - \sqrt{b}$ 关于 $\epsilon$、$\delta$ 和 $n$ 的理论边界。
• 应用并集界和二项尾部近似方法，以在隐私约束下界定错误社区分配的概率。

实验结果

研究问题

• RQ1 在边差分隐私下，精确社区恢复的内在社区连接概率 $p$ 与跨社区连接概率 $q$ 之间，与隐私预算 $(\epsilon,\delta)$ 的根本权衡是什么？
• RQ2 基于稳定性、基于采样和图扰动的差分隐私机制在隐私-准确率和计算复杂度方面如何比较？
• RQ3 基于稳定性的机制能否在 $\epsilon = \mathcal{O}(1)$ 条件下实现精确恢复？其所需的 $\sqrt{a} - \sqrt{b}$ 阈值是多少？
• RQ4 图扰动方法是否需要更大的隐私预算？如果是，是否必须满足 $\epsilon = \Omega(\log n)$ 才能实现精确恢复？
• RQ5 计算复杂度对在严格隐私约束下实现精确恢复的可行性有何影响？

主要发现

• 基于稳定性和基于采样的方法可实现 $\epsilon = \mathcal{O}(1)$ 且 $\delta = 1/n^2$，在最小隐私预算下提供强隐私保护。
• 稳定性与采样方法的恢复阈值分别为 $\sqrt{a} - \sqrt{b} \geq \sqrt{2} \cdot \sqrt{1 + 3/(2\epsilon)}$ 和 $\sqrt{2} \cdot \sqrt{2 + 3/(2\epsilon)}$。
• 图扰动方法在精确恢复时需要 $\epsilon = \Omega(\log n)$，表明存在显著的隐私成本。
• 稳定性机制可在 $\epsilon = \mathcal{O}(1)$ 条件下实现精确恢复，但代价是 $\mathcal{O}(\exp(n))$ 的时间复杂度。
• 基于采样的方法实现 $\mathcal{O}(\exp(n))$ 的时间复杂度，而图扰动方法实现 $\mathcal{O}(\text{poly}(n))$ 的时间复杂度，但所需 $\epsilon$ 更高。
• 理论边界证实，$\sqrt{a} - \sqrt{b} > \sqrt{r}$ 是实现精确恢复的必要条件，且隐私约束会根据所用机制的不同而改变该阈值。