[논문 리뷰] Differentially Private Clustering: Tight Approximation Ratios

Badih Ghazi, Ravi Kumar외 1명|arXiv (Cornell University)|2020. 08. 18.

Privacy-Preserving Technologies in Data참고 문헌 97인용 수 11

한 줄 요약

이 논문은 $k$-means, $k$-median, $1$-Cluster, 그리고 DensestBall 문제를 위한 차별적 비공개 클러스터링 알고리즘을 제안하며, 비공개가 아닌 알고리즘의 최고 수준과 거의 동일한 근사 비율을 달성하면서도 추가 오차는 작게 유지한다. 이 방법은 효율적인 업데이트를 지원하는 새로운 차별적 비공개 ClosestPair용 데이터 구조를 활용하여 다항 시간 내에 날카운 비율 보장을 가능하게 한다.

ABSTRACT

We study the task of differentially private clustering. For several basic clustering problems, including Euclidean DensestBall, 1-Cluster, k-means, and k-median, we give efficient differentially private algorithms that achieve essentially the same approximation ratios as those that can be obtained by any non-private algorithm, while incurring only small additive errors. This improves upon existing efficient algorithms that only achieve some large constant approximation factors. Our results also imply an improved algorithm for the Sample and Aggregate privacy framework. Furthermore, we show that one of the tools used in our 1-Cluster algorithm can be employed to get a faster quantum algorithm for ClosestPair in a moderate number of dimensions.

연구 동기 및 목표

• 비공개가 아닌 알고리즘의 최고 수준과 동일한 근사 비율을 달성하는 효율적인 차별적 비공개 클러스터링 알고리즘 설계.
• 비공개 클러스터링에서 다항 시간 복잡도를 유지하면서도 추가 오차를 최소화.
• 이전 연구에서 상수 요인 근사 또는 초다항 시간이 필요한 수준을 뛰어넘기.
• 효율적인 동적 업데이트를 지원하면서도 차별적 비공개를 유지하는 ClosestPair용 비공개 데이터 구조 개발.
• 비공개 클러스터링 원천이 비공개 기계 학습을 위한 Sample and Aggregate 프레임워크 향상 및 양자 알고리즘 가속화에 기여할 수 있는지 검증.

제안 방법

• 보로노이 기반 셀 분할과 오류 수정 코드 기법을 사용하여 거리 임계값 $\xi$ 이내의 점 쌍을 유지하는 차별적 비공개 데이터 구조 설계.
• 각 점을 가장 가까운 셀로 매핑하기 위해 비공개 CVP(가장 가까운 벡터 문제) 알고리즘을 사용하여 효율적인 위치 탐색 및 업데이트 기능 제공.
• 주어진 셀에서 $2\sqrt{\xi}$ 이내의 모든 셀을 식별하기 위해 리스트 복호화 알고리즘을 활용하여 거리 관련 업데이트의 효율적 전파 구현.
• 고유한 쌍과 가까운 쌍의 수를 추적하기 위해 보조 카운터 $q^{\text{marked-cell}}$, $p^{\text{total}}_{\leq\xi}$ 및 셀별 상태 $M[c]$ 를 유지.
• 삽입 또는 삭제 시 가까운 쌍의 수 변화를 감지하기 위해 이진 함수 $\Lambda$ 를 정의하여 업데이트의 정확한 전파 보장.
• 히스토리에 의존하지 않는 해시 기법을 사용하여 데이터 구조가 히스토리에 의존하지 않도록 하여 동적 업데이트 상황에서도 비공개 보장 유지.

실험 결과

연구 질문

• RQ1 차별적 비공개 클러스터링 알고리즘이 비공개가 아닌 알고리즘의 최고 수준과 동일한 근사 비율을 달성할 수 있는가?
• RQ2 다항 시간 복잡도를 유지하면서도 차별적 비공개 $k$-means 및 $k$-median 클러스터링에서 달성 가능한 최소 추가 오차는 얼마인가?
• RQ3 차별적 비공개를 유지하면서도 효율적인 동적 업데이트를 지원하는 ClosestPair용 비공개 데이터 구조는 어떻게 설계할 수 있는가?
• RQ4 비공개 클러스터링 원천을 사용하여 비공개 기계 학습을 위한 Sample and Aggregate 프레임워크를 향상시킬 수 있는가?
• RQ5 비공개 클러스터링 알고리즘이 중간 차원에서 양자 알고리즘의 가속화에 미치는 영향은 무엇인가?

주요 결과

• 이 논문은 임의의 $\alpha > 0$ 에 대해 $(1+\alpha, \tilde{O}(\sqrt{d}/\epsilon))$-근사 비율을 가지는 차별적 비공개 $1$-Cluster 알고리즘을 최초로 제안하며, 이는 비공개가 아닌 알고리즘의 최고 수준 근사 비율과 일치한다.
• $k$-means 및 $k$-median 클러스터링의 경우 제안된 알고리즘은 $n$ 및 $d$ 에 대해 다항 시간 내에 $(1+\alpha, \tilde{O}(\sqrt{d}/\epsilon))$-근사 비율을 달성한다.
• ClosestPair용 비공개 데이터 구조는 $2^{O(d)}$-시간 업데이트를 지원하며, 중간 차원에서 ClosestPair에 대한 더 빠른 양자 알고리즘을 가능하게 한다.
• 프레임워크는 비공개 집계에서 더 날카운 오차 한계를 가능하게 하여 Sample and Aggregate 프레임워크를 향상시킨다.
• 결과적으로 차별적 비공개는 근사 품질과 효율성 사이의 상충 관계를 필수로 하지 않으며, 작은 추가 오차로 거의 최적의 근사 비율을 달성함을 보여준다.
• $1$-Cluster 및 DensestBall에 대해 $O(\sqrt{d}/\epsilon)$ 의 추가 오차를 달성하며, 이는 표준 복잡도 가정 하에 점근적으로 날카운 것이다.