[논문 리뷰] Private Graphon Estimation for Sparse Graphs

Christian Borgs, Jennifer Chayes외 1명|arXiv (Cornell University)|2015. 06. 19.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 45

한 줄 요약

이 논문은 희박한 네트워크에서 그래폰을 추정하기 위한 노드 차별적 비밀유지 알고리즘을 제안한다. 비모수적 블록 모델 근사법을 사용하여 정점 수가 증가함에 따라 $L_2$ 노름에서 진짜 그래폰 $W$로 수렴한다. 이 방법은 간선 수에 라플라스 노이즈를 추가함으로써 비밀성을 보장하며, 평균 차수의 로그적 증가 및 적절한 블록 수 조절 조건 하에서 일致성을 확보한다.

ABSTRACT

We design algorithms for fitting a high-dimensional statistical model to a large, sparse network without revealing sensitive information of individual members. Given a sparse input graph $G$, our algorithms output a node-differentially-private nonparametric block model approximation. By node-differentially-private, we mean that our output hides the insertion or removal of a vertex and all its adjacent edges. If $G$ is an instance of the network obtained from a generative nonparametric model defined in terms of a graphon $W$, our model guarantees consistency, in the sense that as the number of vertices tends to infinity, the output of our algorithm converges to $W$ in an appropriate version of the $L_2$ norm. In particular, this means we can estimate the sizes of all multi-way cuts in $G$. Our results hold as long as $W$ is bounded, the average degree of $G$ grows at least like the log of the number of vertices, and the number of blocks goes to infinity at an appropriate rate. We give explicit error bounds in terms of the parameters of the model; in several settings, our bounds improve on or match known nonprivate results.

연구 동기 및 목표

• 대규모 희박한 네트워크에서 개인 수준의 데이터 폭로 없이 고차원 통계 모델을 추정하기 위한 차별적 비밀유지 알고리즘을 개발한다.
• 노드 차별적 비밀유지 보장을 확보하여, 어떤 정점과 그 간선의 삽입 또는 제거가도 적대자에게 노출되지 않도록 한다.
• 이론적 일치 보장을 제공하여 추정된 그래폰이 $n \to \infty$일 때 진짜 기저 그래폰 $W$로 $L_2$ 노름에서 수렴함을 보여준다.
• 비공개 결과와 비교해도 우월하거나 동일한 몇 가지 설정에서 명시적인 오차 한계를 도출한다.
• 추정된 그래폰을 통해 다중 방향 컷과 같은 전역 그래프 성질의 비밀 유지 추정을 가능하게 한다.

제안 방법

• 알고리즘은 그래폰의 비모수적 블록 모델 근사법을 사용하며, 그래프가 $k$개의 블록으로 분할되고 간선 확률이 추정된다.
• 관측된 그래프에 블록 모델을 적합시키기 위해 최소 제곱법을 적용하여 추정된 간선 확률과 관측된 간선 확률 간의 $L_2$ 거리를 최소화한다.
• 노드 차별적 비밀유지를 위해 블록 행렬의 각 간선 수에 독립적인 라플라스 노이즈를 스케일 $4/n\epsilon$으로 추가한다.
• 추정된 간선 확률 행렬 $\hat{B}$는 추정된 평균 간선 밀도 $\hat{\rho}$로 스케일링되어 그래폰 추정치를 정규화한다.
• 노이즈가 더해진 행렬의 항목을 $1/n$의 배수로 반올림하여 유효한 블록 모델 파rameter를 확보한다.
• 도수와 간선 확률에 대한 농도 및 기대치 한계를 보조 정리와 尾 확률 부등식을 사용하여 추정 오차를 통제한다.

실험 결과

연구 질문

• RQ1 차별적 비밀유지 알고리즘이 개인 정점의 비밀을 보장하면서도 희박한 네트워크에서 그래폰을 추정할 수 있는가?
• RQ2 비공개 그래폰 추정자가 $L_2$ 노름에서 진짜 그래폰으로 수렴하는 조건은 무엇인가?
• RQ3 동일한 설정에서 비공개 추정자의 오차 한계는 비공개 추정자와 비교해 어떻게 되는가?
• RQ4 비공개 추정자는 다중 방향 컷과 같은 전역 그래프 성질을 정확하게 복원할 수 있는가?
• RQ5 희박한 그래프 환경에서 비밀유지 파rameter $\epsilon$, 표본 크기 $n$, 추정 정확도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 진짜 그래폰 $W$가 유계이고 평균 차수가 적어도 $\log n$ 비례로 증가하며, 블록 수 $k$가 적절한 속도로 증가할 경우, $n \to \infty$일 때 비공개 추정자가 $L_2$ 노름에서 진짜 그래폰으로 수렴한다.
• 고도의 확률로 추정 오차는 $O\left(\sqrt[4]{\frac{\lambda^2 \log k}{\rho n}} + \lambda \sqrt{\frac{k^2 \log n}{n\epsilon}} + \frac{\sqrt{\lambda}}{n\rho\epsilon}\right)$로 유계이며, 여기서 $\lambda$는 노이즈 스케일을 제어한다.
• 알고리즘은 블록 행렬의 각 간선 수에 대해 비밀유지 예산을 할당함으로써 $\epsilon$-차별적 비밀유지 보장을 확보한다.
• 정규화된 그래폰 추정치 $\hat{\delta}_2(\hat{W}, W)$의 오차 한계는 고도의 확률로 $\hat{\epsilon}_k^{(O)}(H_n(W)) + O\left(\sqrt[4]{\frac{\lambda^2 \log k}{\rho n}} + \lambda \sqrt{\frac{k^2 \log n}{n\epsilon}} + \frac{\sqrt{\lambda}}{n\rho\epsilon}\right)$이다.
• 표본 크기 $n\rho\epsilon / \log n \to \infty$일 때 거의 확실한 일치를 달성하여 정규화된 추정자가 진짜 그래폰으로 수렴함을 보장한다.
• 이 방법은 그래폰 추정치가 $L_2$에서 일치하므로 다중 방향 컷과 같은 전역 그래프 성질의 비밀 유지 추정을 가능하게 한다.