[논문 리뷰] Efficient Lipschitz Extensions for High-Dimensional Graph Statistics and Node Private Degree Distributions

Sofya Raskhodnikova, Adam Smith|arXiv (Cornell University)|2015. 04. 29.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 25

한 줄 요약

이 논문은 벡터 값 그래프 통계량, 특히 정점의 차수 리스트와 차수 분포에 대해 효율적으로 계산 가능한 리프시츠 확장법을 제안하며, 더 정확한 노드 차별적 비밀유지 알고리즘을 가능하게 한다. 일반화된 지수 기반 메커니즘을 제안하고, $\alpha$-감쇠 그래프에서 차수 분포 추정에 대해 $ O\bigl(\bar{d}^{2\alpha/(\alpha+1)} / (\epsilon n)^{(\alpha-1)/(\alpha+1)}\bigr) $의 개선된 오차 한계를 달성한다. 이는 이전 연구에 비해 뚜렷이 뛰어나다.

ABSTRACT

Lipschitz extensions were recently proposed as a tool for designing node differentially private algorithms. However, efficiently computable Lipschitz extensions were known only for 1-dimensional functions (that is, functions that output a single real value). In this paper, we study efficiently computable Lipschitz extensions for multi-dimensional (that is, vector-valued) functions on graphs. We show that, unlike for 1-dimensional functions, Lipschitz extensions of higher-dimensional functions on graphs do not always exist, even with a non-unit stretch. We design Lipschitz extensions with small stretch for the sorted degree list and for the degree distribution of a graph. Crucially, our extensions are efficiently computable. We also develop new tools for employing Lipschitz extensions in the design of differentially private algorithms. Specifically, we generalize the exponential mechanism, a widely used tool in data privacy. The exponential mechanism is given a collection of score functions that map datasets to real values. It attempts to return the name of the function with nearly minimum value on the data set. Our generalized exponential mechanism provides better accuracy when the sensitivity of an optimal score function is much smaller than the maximum sensitivity of score functions. We use our Lipschitz extension and the generalized exponential mechanism to design a node-differentially private algorithm for releasing an approximation to the degree distribution of a graph. Our algorithm is much more accurate than algorithms from previous work.

연구 동기 및 목표

• 다양한 차원의 그래프 함수, 예를 들어 정렬된 차수 리스트와 차수 분포에 대해 효율적으로 계산 가능한 리프시츠 확장법을 설계하는 것.
• 특히 희박한 그래프에서 고차원 그래프 통계량에 대한 노드 차별적 비밀유지 알고리즘의 격차를 해결하는 것.
• 최적의 점수 함수가 최대값에 비해 낮은 민감도를 가질 경우 정확도를 향상시키는 일반화된 지수 기반 메커니즘을 개발하는 것.
• 이전의 노드 비밀유지 알고리즘보다 훨씬 낮은 오차 한계를 달성하는 것, 특히 차수 분포 추정에 있어서이다.

제안 방법

• 다항식 시간 알고리즘을 사용하여 정렬된 차수 리스트와 차수 분포에 대해 작은 스트레치를 가진 리프시츠 확장법을 설계한다.
• 다양한 민감도를 가진 점수 함수 중에서 선택할 수 있는 일반화된 지수 기반 메커니즘을 도입하며, 민감도가 낮은 함수를 우선시한다.
• 부드러운 민감도와 비밀유지 추정 기반의 임계값 선택 알고리즘을 사용하여 최적의 차수 임계값 $ D $ 를 선택한다.
• 리프시츠 확장법과 일반화된 지수 기반 메커니즘을 조합하여, 스트레치와 임계값에 비례하는 라플라스 노이즈를 추가한다.
• 출력 히스토그램을 확률 분포로 정규화하기 위해 그래프 크기 $ n $ 의 비밀유지 추정치를 사용한다.
• $\alpha$-감쇠 가정 하에 오차 분석을 수행하여 날카로운 $\ell_1$ 오차 한계를 도출한다.

실험 결과

연구 질문

• RQ1 비단위 스트레치 조건이 존재하더라도, 다차원 그래프 함수에 대해 항상 리프시츠 확장이 존재하는가?
• RQ2 그래프에서 정렬된 차수 리스트와 차수 분포에 대해 효율적으로 계산 가능한 리프시츠 확장이 구축 가능한가?
• RQ3 점수 함수의 민감도가 크게 다를 경우 일반화된 지수 기반 메커니즘이 정확도를 어떻게 향상시킬 수 있는가?
• RQ4 노드 비밀유지 차수 분포 추정에서 근사 오차와 비밀유지 비용 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 제안된 방법은 $ \alpha > 1 $ 인 희박한 그래프에서 차수 분포 추정에 대해 $ o(1) $ 오차를 달성할 수 있는가?

주요 결과

• 비단위 스트레치 조건이 존재하더라도, 다차원 그래프 함수에 대해 항상 리프시츠 확장이 존재하지는 않는다. 1차원의 경우와는 다르게 말이다.
• 정렬된 차수 리스트와 차수 분포에 대해 스트레치가 상수로 유계인 효율적으로 계산 가능한 리프시츠 확장이 구축되었다.
• 일반화된 지수 기반 메커니즘은 민감도가 낮은 점수 함수를 우선시함으로써 정확도를 향상시킨다. 특히 최적의 함수가 최악의 경우에 비해 훨씬 낮은 민감도를 가질 경우에 유의미하다.
• 제안된 알고리즘은 $\alpha$-감쇠 그래프에서 $ \mathbb{E}\|\hat{p} - p_G\|_1 = O\bigl(\bar{d}^{2\alpha/(\alpha+1)} / (\epsilon n)^{(\alpha-1)/(\alpha+1)}\bigr) $ 를 달성한다.
• $ \bar{d}^{2\alpha/(\alpha-1)} = o(\epsilon n) $ 일 경우, $ n \to \infty $ 일 때 오차 한계가 $ o(1) $ 가 되며, 이는 渐近적 일致성을 나타낸다.
• 이 알고리즘은 특히 힘의 법칙 유사 차수 분포를 가진 희박한 그래프에서 이전의 노드 비밀유지 방법보다 뛰어난 성능을 보인다.