[논문 리뷰] Differentially-Private Clustering of Easy Instances

Edith Cohen, Haim Kaplan외 3명|arXiv (Cornell University)|2021. 12. 29.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 5

한 줄 요약

이 논문은 잘 분리된 클러스터 또는 가우시안 믹스처와 같은 '쉬운' 데이터 인스턴스를 위한 실용적인 비밀 보장 클러스터링 프레임워크를 제안한다. 먼저 비밀 보장 평균을 사용하여 단순화된 $k$-튜플 클러스터링 문제를 해결한 후, 표준 클러스터링 작업을 이 문제로 환원한다. 이 방법은 개선된 샘플 복잡도를 달성하며, 합성 데이터에서 실험적으로 검증되어 이전 방법이 너무 복잡하거나 비현실적이었던 영역에서도 실현 가능함을 보여준다.

ABSTRACT

Clustering is a fundamental problem in data analysis. In differentially private clustering, the goal is to identify $k$ cluster centers without disclosing information on individual data points. Despite significant research progress, the problem had so far resisted practical solutions. In this work we aim at providing simple implementable differentially private clustering algorithms that provide utility when the data is "easy," e.g., when there exists a significant separation between the clusters. We propose a framework that allows us to apply non-private clustering algorithms to the easy instances and privately combine the results. We are able to get improved sample complexity bounds in some cases of Gaussian mixtures and $k$-means. We complement our theoretical analysis with an empirical evaluation on synthetic data.

연구 동기 및 목표

• 이론적 비밀 보장 클러스터링과 실용적 구현 사이의 격차를 메우기 위해, 기존 방법이 큰 숨겨진 상수와 낮은 유틸리티 문제를 겪는 문제를 해결하기 위해.
• 명확한 클러스터 분리가 있는 '쉬운' 데이터 인스턴스에서 잘 작동하는 단순하고 구현 가능한 비밀 보장 클러스터링 알고리즘을 설계하는 도전에 대응하기 위해.
• 새로운 $k$-튜플 클러스터링 추상화를 활용하여, 비밀 보장 $k$-평균 및 가우시안 믹스처 모델 클러스터링의 샘플 복잡도를 감소시키기 위해.
• 합성 데이터에서 제안된 알고리즘을 실험적으로 검증하여, 이론적 노이즈 제약 조건에도 불구하고 실용적인 성능을 보여주기 위해.
• 비밀 보장 클러스터링이 현실적인 분리 가정 하에 이론적으로 타당하고 실용적으로 가능함을 보여주기 위해.

제안 방법

• 자연스럽게 $k$개의 분리된 클러스터로 분할되는 데이터에서 $k$-튜플 클러스터링 문제를 도입: $k$개의 클러스터 중심을 $k$-튜플에서 식별하기.
• $\mathsf{PrivatekAverages}$ 알고리즘 설계: 그룹 비밀 보장과 가우시안 메커니즘을 사용하여 $k$-튜플의 비밀 보장 평균을 계산함으로써 $(\varepsilon,\delta)$-비밀 보장 보장.
• $\mathsf{PrivatekAverages}$ 원천을 빌드 블록으로 사용하여, 안정성 또는 분리 조건 하에서 비밀 보장 클러스터 중심을 출력하는 $\mathsf{PrivatekNoisyCenters}$를 구성함.
• 성분 평균의 분리 조건 하에서, 동일한 프레임워크를 $\mathsf{PrivatekGMM}$ 를 통해 가우시안 믹스처 모델에 적용함.
• 그룹 비밀 보장과 서브샘플링을 활용하여 노이즈 민감도를 감소시키지만, 내부 구성 요소에서 작은 비밀 보장 파rameter로 인해 실질적으로 큰 숨겨진 상수가 드러남.
• 합성 데이터에서의 경험적 평가를 통해 차원 $d$, 클러스터 수 $k$, 분리 수준 $R$ 가 다양할 때의 성능을 시연하며, 내부 비밀 보장 평균에서 발생하는 성능 저하 요인을 강조함.

실험 결과

연구 질문

• RQ1 비밀 보장 클러스터링 알고리즘이 잘 분리된 데이터에 대해 이론적으로 타당하고 동시에 실용적으로 구현 가능한가?
• RQ2 분리 조건 하에서 비밀 보장 $k$-평균 클러스터링에 필요한 최소 샘플 복잡도는 무엇이며, 새로운 추상화를 통해 이를 향상시킬 수 있는가?
• RQ3 비밀 보장 메커니즘의 숨겨진 상수가 실질적으로 클러스터링 성능에 어떻게 영향을 미치며, 이를 완화할 수 있는가?
• RQ4 $k$-튜플 클러스터링 추상화를 사용하여 복잡한 클러스터링 작업을 더 단순하고 비밀 보장된 원천으로 환원할 수 있는가, 이는 증명 가능한 유틸리티 보장을 가짐?
• RQ5 비밀 보장 전처리의 난이도(예: 각 점에 노이즈 추가)와 비교했을 때, 제안된 방법은 샘플 효율성과 클러스터링 정확도 측면에서 어떻게 다른가?

주요 결과

• $\mathsf{PrivatekAverages}$ 알고리즘은 성공하기 위해 $O_{\varepsilon,\delta}(kd)$개의 튜플(또는 큰 $d$의 경우 $O_{\varepsilon,\delta}(k\sqrt{d})$)이 필요하며, 이는 이전 작업 대비 개선된 샘플 복잡도를 달성한다.
• 강력한 이론적 경계에도 불구하고, 내부 비밀 보장 평균 구성 요소에서 작은 비밀 보장 파rameter로 인해 실질적인 성능이 큰 숨겨진 상수(~500,000)로 제한된다.
• 이 방법은 $d=1$, $k=2$, $R=512$ 조건에서 합성 데이터를 성공적으로 클러스터링하며, 과도한 노이즈로 인해 100M개의 샘플조차 실패하는 난이도 높은 노이즈 추가 기반 베이스라인보다 뛰어난 성능을 보인다.
• 가우시안 믹스처 모델에 대해 $\tilde{O}(dk)$ 샘플 복잡도를 달성하며, [SOAJ14]와 같은 점 渐진적 방법의 $\tilde{\Omega}(dk^9)$ 샘플 요구량보다 크게 향상된다.
• 알고리즘은 $\tilde{O}(dk^2n)$ 시간에 실행되며, 이는 비록 숨겨진 상수가 여전히 실용적 장벽이지만, 지수 시간 대안보다 훨씬 효율적이다.
• 경험적 결과는 주요 성능 저하 요인이 단계 5a의 그룹 비밀 보장 메커니즘임을 보여주며, $\ell \approx 1000$일 경우 매우 작은 비밀 보장 파rameter($\hat{\varepsilon} \approx \varepsilon / 4000k$)로 인해 내부 구성 요소에서 노이즈가 증폭됨을 확인한다.