[논문 리뷰] Differentially Private Community Detection for Stochastic Block Models

Mohamed Seif, Dung Nguyen외 2명|arXiv (Cornell University)|2022. 01. 31.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 $(\epsilon,\delta)$-edge differential privacy 하에서 스토하스틱 블록 모델에 대해 미분적 비밀유지 커뮤니티 탐지 알고리즘을 제안하며, 안정성 기반, 샘플링 기반, 그래프 편향 기반의 세 가지 기법을 분석한다. 안정성 및 샘플링 기반 방법은 $\epsilon = \mathcal{O}(1)$일 때 뛰어난 비밀유지-정확도 트레이드오프를 달성하는 반면, 그래프 편향 기반 방법은 정확한 복원을 위해 $\epsilon = \Omega(\log n)$ 가 필요하며, 이는 비밀유지 예산과 계산 효율성 사이의 근본적인 트레이드오프를 드러낸다.

ABSTRACT

The goal of community detection over graphs is to recover underlying labels/attributes of users (e.g., political affiliation) given the connectivity between users (represented by adjacency matrix of a graph). There has been significant recent progress on understanding the fundamental limits of community detection when the graph is generated from a stochastic block model (SBM). Specifically, sharp information theoretic limits and efficient algorithms have been obtained for SBMs as a function of $p$ and $q$, which represent the intra-community and inter-community connection probabilities. In this paper, we study the community detection problem while preserving the privacy of the individual connections (edges) between the vertices. Focusing on the notion of $(ε, δ)$-edge differential privacy (DP), we seek to understand the fundamental tradeoffs between $(p, q)$, DP budget $(ε, δ)$, and computational efficiency for exact recovery of the community labels. To this end, we present and analyze the associated information-theoretic tradeoffs for three broad classes of differentially private community recovery mechanisms: a) stability based mechanism; b) sampling based mechanisms; and c) graph perturbation mechanisms. Our main findings are that stability and sampling based mechanisms lead to a superior tradeoff between $(p,q)$ and the privacy budget $(ε, δ)$; however this comes at the expense of higher computational complexity. On the other hand, albeit low complexity, graph perturbation mechanisms require the privacy budget $ε$ to scale as $Ω(\log(n))$ for exact recovery. To the best of our knowledge, this is the first work to study the impact of privacy constraints on the fundamental limits for community detection.

연구 동기 및 목표

• 스토하스틱 블록 모델에서 $(\epsilon,\delta)$-edge differential privacy 하에 정확한 커뮤니티 복원의 정보이론적 한계를 설정하는 것.
• 연결 확률 $p$, $q$, 비밀유지 예산 $(\epsilon,\delta)$, 계산 복잡도 사이의 트레이드오프를 분석하는 것.
• 안정성 기반, 샘플링 기반, 그래프 편향 기반의 세 가지 유형의 미분적 비밀유지 기법을 평가하는 것.
• 각 기법에서 정확한 복원을 위해 필요한 최소 비밀유지 예산을 규명하는 것, 특히 밀도 높은 영역에서의 경우를 중심으로 한다.

제안 방법

• 에지 편향에 대한 추정기의 안정성을 검증함으로써 미분적 비밀유지를 보장하는 안정성 기법(Thakurta & Smith, 2013)을 사용한다.
• 랜덤으로 에지를 샘플링하고, 샘플된 그래프에 노이즈를 적용하여 비밀유지를 유지하는 샘플링 기반 기법을 적용한다.
• 이웃 행렬에 직접적으로 노이즈를 추가함으로써 그래프 편향을 구현하며, 이는 지수 기법 또는 라플라스 노이즈를 사용할 수 있다.
• 집중 불등식과 尾 확률 한계를 사용하여 복원 임계값을 분석한다. 이는 체르노프-후프딩 불등식 및 베르누이 불등식을 포함한다.
• 각 기법에 대해 $\epsilon$, $\delta$, $n$ 을 변수로 하는 복원 임계값 $\sqrt{a} - \sqrt{b}$ 의 이론적 한계를 유도한다.
• 합집합 한계와 이항 분포 尾 확률 근사치를 적용하여, 비밀유지 제약 조건 하에서 잘못된 커뮤니티 할당 확률을 근사한다.

실험 결과

연구 질문

• RQ1 에지 DP 하에서 정확한 커뮤니티 복원을 위해 내부 커뮤니티 연결 확률 $p$ 와 이질 커뮤니티 간 연결 확률 $q$ 사이의 근본적 트레이드오프는 비밀유지 예산 $(\epsilon,\delta)$ 와 어떻게 관련되는가?
• RQ2 안정성 기반, 샘플링 기반, 그래프 편향 기반의 각 미분적 비밀유지 기법은 비밀유지-정확도 및 계산 복잡도 측면에서 어떻게 비교될 수 있는가?
• RQ3 안정성 기반 기법은 $\epsilon = \mathcal{O}(1)$ 을 달성하면서도 정확한 복원을 보장할 수 있으며, 이 경우 필요한 $\sqrt{a} - \sqrt{b}$ 임계값은 무엇인가?
• RQ4 그래프 편향 기법은 더 큰 비밀유지 예산을 요구하는가? 만약 그렇다면, 정확한 복원을 위해 $\epsilon = \Omega(\log n)$ 가 필수적인가?
• RQ5 계산 복잡도는 엄격한 비밀유지 제약 조건 하에서 정확한 복원을 달성하는 데 있어 어떤 영향을 미치는가?

주요 결과

• 안정성 기반 및 샘플링 기반 기법은 $\epsilon = \mathcal{O}(1)$ 이며 $\delta = 1/n^2$ 를 달성하여 최소한의 예산으로 강력한 비밀유지를 가능하게 한다.
• 안정성 및 샘플링 기반 기법의 복원 임계값은 각각 $\sqrt{a} - \sqrt{b} \geq \sqrt{2} \cdot \sqrt{1 + 3/(2\epsilon)}$ 과 $\sqrt{2} \cdot \sqrt{2 + 3/(2\epsilon)}$ 이다.
• 그래프 편향 기반 기법은 정확한 복원을 위해 $\epsilon = \Omega(\log n)$ 가 필요하며, 이는 상당한 비밀유지 비용을 의미한다.
• 안정성 기법은 $\epsilon = \mathcal{O}(1)$ 로 정확한 복원을 달성할 수 있지만, 이는 $\mathcal{O}(\exp(n))$ 의 시간 복잡도를 수반한다.
• 샘플링 기반 기법은 $\mathcal{O}(\exp(n))$ 의 시간 복잡도를 보이며, 그래프 편향 기법은 $\mathcal{O}(\text{poly}(n))$ 의 복잡도를 가지지만 더 높은 $\epsilon$ 을 요구한다.
• 이론적 한계는 $\sqrt{a} - \sqrt{b} > \sqrt{r}$ 가 정확한 복원을 위해 필수적임을 확인하며, 비밀유지 제약 조건에 따라 기법에 따라 이 임계값이 이동함을 보여준다.