[논문 리뷰] Differentially Private k-Means Clustering with Guaranteed Convergence

Zhigang Lü, Hong Shen|arXiv (Cornell University)|2020. 02. 03.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 4

한 줄 요약

이 논문은 기존의 미분적 비밀보장 k-means 클러스터링 알고리즘에서 발생하는 수렴 불가 문제를 해결하기 위해, 변형된 중심점 주변의 동적으로 정의된 수렴 영역 내에 노이즈를 주입함으로써 수렴을 보장하는 새로운 미분적 비밀보장 k-means 클러스터링 프레임워크를 제안한다. 이는 과거와 향후 중심점 이동 방향을 모두 활용한다. 이 알고리즘은 라이드의 알고리즘보다 최대 두 배 이내의 반복 횟수 내에 수렴을 보이며, 기존 최고 수준의 방법들과 동일한 비밀보장 예산 하에서 더 뛰어난 클러스터링 품질을 달성한다.

ABSTRACT

Iterative clustering algorithms help us to learn the insights behind the data. Unfortunately, this may allow adversaries to infer the privacy of individuals with some background knowledge. In the worst case, the adversaries know the centroids of an arbitrary iteration and the information of n-1 out of n items. To protect individual privacy against such an inference attack, preserving differential privacy (DP) for the iterative clustering algorithms has been extensively studied in the interactive settings. However, existing interactive differentially private clustering algorithms suffer from a non-convergence problem, i.e., these algorithms may not terminate without a predefined number of iterations. This problem severely impacts the clustering quality and the efficiency of a differentially private algorithm. To resolve this problem, in this paper, we propose a novel differentially private clustering framework in the interactive settings which controls the orientation of the movement of the centroids over the iterations to ensure the convergence by injecting DP noise in a selected area. We prove that, in the expected case, algorithm under our framework converges in at most twice the iterations of Lloyd's algorithm. We perform experimental evaluations on real-world datasets to show that our algorithm outperforms the state-of-the-art of the interactive differentially private clustering algorithms with guaranteed convergence and better clustering quality to meet the same DP requirement.

연구 동기 및 목표

• 제한된 반복 횟수 내에 종료되지 않는 기존의 미분적 비밀보장 k-means 알고리즘에서 발생하는 수렴 불가 문제를 해결하기 위해.
• 인터랙티브 환경에서 미분적 비밀보장 k-me안스 클러스터링의 수렴을 보장하면서도 강력한 비밀보장 보장을 유지하기 위해.
• 중심점 이동의 시간적 지식을 활용하여 동일한 차별적 비밀보장 예산 하에서 클러스터링 품질을 향상시키기 위해.
• 제안된 방법의 이론적 수렴 경계와 실제 데이터셋에 대한 실험적 검증을 제공하기 위해.

제안 방법

• 이 방법은 이전 반복에서의 변형된 중심점을 유지하여 현재 반복에서 수렴 영역을 정의하고, 이 영역 내에서 미분적 비밀보장을 위해 노이즈를 주입한다.
• 중심점 이동 방향을 제어하기 위해 두 가지 전략을 사용한다: 하나는 과거 이동 방향(𝑡−1에서 𝑡로) 기반이고, 다른 하나는 향후 이동 방향(𝑡에서 𝑡+1로)을 포함하여 수렴을 향상시킨다.
• 수렴을 유지하면서도 미분적 비밀보장을 확보하기 위해, 수렴 영역 내에서 노이즈 주입에 지수 기반 메커니즘을 사용한다.
• 알고리즘은 중심점 이동 궤적에 따라 노이즈 주입 영역을 동적으로 조정함으로써 안정성과 수렴을 보장한다.
• 이론적 분석을 통해 알고리즘이 라이드의 알고리즘보다 최대 두 배 이내의 반복 횟수 내에 기대값으로 수렴함을 증명한다.
• 과거와 향후 지식을 모두 통합하여, 동일한 초기 중심점 하에서 라이드의 알고리즘과 동일한 해에 수렴할 확률을 높인다.

실험 결과

연구 질문

• RQ1 기존 방법들이 수렴 불가 문제를 겪는 것과 달리, 인터랙티브 환경에서 미분적 비밀보장 k-means 클러스터링이 신뢰성 있게 수렴시킬 수 있는가?
• RQ2 노이즈 주입을 전략적으로 어떻게 이끌어내야 수렴을 유지하면서도 미분적 비밀보장을 확보할 수 있는가?
• RQ3 과거와 향후 중심점 이동 정보를 사용할 경우 수렴 속도와 해의 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 동일한 비밀보장 예산 하에서 기존 최고 수준의 미분적 비밀보장 k-means 알고리즘보다 더 뛰어난 클러스터링 품질을 달성할 수 있는가?
• RQ5 과거 지식뿐 아니라 향후 지식까지 사용할 경우, 과거 지식만 사용하는 것보다 수렴 확률이 상당히 향상되는가?

주요 결과

• 제안된 알고리즘은 기대값으로 라이드의 알고리즘보다 최대 두 배 이내의 반복 횟수 내에 라이드의 알고리즘의 해에 수렴한다.
• 과거와 향후 지식을 모두 사용할 경우, 알고리즘은 라이드의 알고리즘과 동일한 해에 고려할 만큼 높은 확률로 수렴하며, 실질적으로 최소 84%의 중심점이 일치한다.
• 후행 전략(과거 지식만 사용)은 라이드의 중심점과 최대 80%까지만 일치하지만, 선행 전략(과거와 향후 지식 모두 사용)은 최소 84%의 일치율을 달성한다.
• 반복 횟수 측면에서 선행 전략은 라이드의 알고리즘보다 1.22에서 1.40배 더 많은 반복이 필요로 하며, 후행 전략은 라이드의 알고리즘의 0.95에서 0.97배에 불과하여, 수렴 품질과 속도 사이의 상충 관계가 드러난다.
• 여섯 개인 실세계 데이터셋에서 제안된 방법은 동일한 비밀보장 예산 하에서 기존 최고 수준의 미분적 비밀보장 클러스터링 알고리즘보다 클러스터링 품질에서 뛰어나다.
• 실험 결과는 이론적 분석을 확인하며, 반복 비율이 다양한 비밀보장 예산에서 안정적으로 유지됨을 보여주며, 선행 전략은 추가적인 향후 지식 계산으로 인해 항상 더 많은 반복 횟수를 요구한다.