[논문 리뷰] Differentially Private k-Means with Constant Multiplicative Error

Haim Kaplan, Uri Stemmer|arXiv (Cornell University)|2018. 04. 21.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 28

한 줄 요약

이 논문은 중앙집중형 및 국지 모델의 차별적 비밀보장에서 상수 승수 오차를 가진 최초의 비차별적 k-평균 알고리즘을 제안하며, 이는 이전 연구의 초수상수 근사 요인에 비해 크게 향상된 결과이다. 비차별적 코어셋 구축 및 클러스터 무게의 노이즈에 강건한 추정을 활용하여, 이 접근법은 추가 오차가 이전 연구와 유사한 수준이면서도 국지 모델에서 상호작용 라운드 수를 상수 수준으로 줄여, 상수 요인 근사에 성공한다.

ABSTRACT

We design new differentially private algorithms for the Euclidean k-means problem, both in the centralized model and in the local model of differential privacy. In both models, our algorithms achieve significantly improved error guarantees than the previous state-of-the-art. In addition, in the local model, our algorithm significantly reduces the number of interaction rounds. Although the problem has been widely studied in the context of differential privacy, all of the existing constructions achieve only super constant approximation factors. We present, for the first time, efficient private algorithms for the problem with constant multiplicative error. Furthermore, we show how to modify our algorithms so they compute private corsets for k-means clustering in both models.

연구 동기 및 목표

• 초기 연구에서의 초수상수 근사 요인을 넘어서, 상수 승수 오차를 가진 비차별적 k-평균 알고리즘을 설계하는 것.
• 국지 모델의 상호작용 라운드 수를 줄여 효율성을 향상시키는 것.
• 모든 가능한 중심 집합에 대해 비용 근사도를 유지하는 k-평균 클러스터링을 위한 비차별적 코어셋을 구축하는 것.
• 비차별적 비밀보장 조건 하에서 개선된 유효성 경계—구체적으로 상수 승수 오차와 최적화되지 않은 추가 오차—를 달성하는 것.
• 비차별적 코어셋 구축이 중앙집중형 및 국지 환경 모두에서 상수 요인 근사에 사용될 수 있음을 보여주는 것.

제안 방법

• 후보 중심 집합을 식별하고, 노이즈가 섞인 세기로 각 후보 중심에 할당된 입력 포인트 수를 비차별적으로 추정하는 비차별적 알고리즘을 설계한다.
• 비차별적으로 계산된 가중치가 부여된 후보 중심 집합에 대해 국지 검색 알고리즘의 변종을 적용하여 최적의 k-평균 비용을 근사한다.
• 작은 변형에 대한 k-평균 비용의 안정성을 활용하여, 실제 비용과 노이즈가 섞인 무게 추정치 사이의 오차를 제한하며, 특히 추정 분포에서 음수 무게가 발생하더라도 이를 고려한다.
• 후보 집합 내 모든 가능한 k-센터 조합에 대해 유니온 바운드를 적용하여 균일한 근사 보장을 확보하고, 로그 인자로 오차 증가를 통제한다.
• 국지 모델에서 이중 단계 접근법을 도입: 먼저 후보 중심을 비차별적으로 계산하고, 이후 최적의 k개 중심에 대해 무게를 재계산하여 비차별적 코어셋을 구성한다.
• 기하학적 안정성과 집중 경계를 활용하여, 비차별적으로 계산된 가중치 집합이 모든 중심 집합에 대해 진짜 k-평균 비용을 균일하게 근사함을 보여준다.

실험 결과

연구 질문

• RQ1 비차별적 k-평균 알고리즘이 초수상수 근사 요인 대신 상수 승수 오차를 달성할 수 있는가?
• RQ2 국지 모델에서 상호작용 라운드 수를 상수 수준으로 줄일 수 있으며, 이로 인해 상수 요인 유효성 보장을 유지할 수 있는가?
• RQ3 모든 가능한 k-센터 집합에 대해 비차별적 비밀보장 하에서 k-평균 비용을 유지하는 비차별적 코어셋을 구축할 수 있는가?
• RQ4 무게 추정에서 발생하는 노이즈를 어떻게 관리할 수 있으며, 특히 비차별적 추정 과정에서 음수 무게가 발생할 경우 유효성을 유지할 수 있는가?
• RQ5 비차별적 k-평균 알고리즘의 이론적 보장(예: 6.357 근사)이 비차별적 비밀보장 하에서도 상수 승수 요인으로 유지될 수 있는가?

주요 결과

• 논문은 중앙집중형 모델에서 (ε, δ)-비차별적 k-평균 알고리즘을 최초로 제안하며, 상수 승수 오차 γ = O(1)를 확보하면서도 추가 오차 η = ˜O(k^{1.01} · d^{0.51} + k^{1.5}) · Λ²를 유지한다.
• 국지 모델에서는 오직 O(1)의 상호작용 라운드로 상수 승수 오차를 달성하며, 이는 이전 연구에서 요구한 O(k log n) 라운드에 비해 향상된 결과이다.
• 국지 모델의 추가 오차는 η = poly(log(1/β), d, 1/ε, k) · n^{0.67} · Λ²이며, 이는 이전 최고 수준의 성능과 경쟁 가능하다.
• 논문은 중앙집중형 모델에서 γ = O(1) 및 η = poly(log n, log(1/β), log(1/δ), d, 1/ε, k) · Λ²를 갖는 (γ, η)-코어셋을 구성한다.
• 국지 모델에서는 비차별적 코어셋 구축이 γ = O(1) 및 η = poly(log(1/β), d, 1/ε, k) · n^{0.67} · Λ²를 달성하며, 상수 수준의 상호작용 라운드를 유지한다.
• 이론적 분석을 통해 기하학적 안정성과 유니온 바운드를 활용하여, 무게가 노이즈가 섞여 있거나 음수일지라도 진짜 데이터 세트의 비용이 비차별적으로 계산된 가중치 집합에 의해 잘 근사됨을 보여준다.