[论文解读] Differentially Private k-Means Clustering with Guaranteed Convergence

Zhigang Lü, Hong Shen|arXiv (Cornell University)|Feb 3, 2020

Privacy-Preserving Technologies in Data参考文献 28被引用 4

一句话总结

本文提出了一种新颖的差分隐私k均值聚类框架，通过在动态定义的收敛区域（围绕扰动中心点）内注入噪声，并结合过去和未来中心点移动方向，确保算法收敛。该方法证明其收敛迭代次数最多为Lloyd算法的两倍，并在相同隐私预算下，聚类质量优于现有最先进方法。

ABSTRACT

Iterative clustering algorithms help us to learn the insights behind the data. Unfortunately, this may allow adversaries to infer the privacy of individuals with some background knowledge. In the worst case, the adversaries know the centroids of an arbitrary iteration and the information of n-1 out of n items. To protect individual privacy against such an inference attack, preserving differential privacy (DP) for the iterative clustering algorithms has been extensively studied in the interactive settings. However, existing interactive differentially private clustering algorithms suffer from a non-convergence problem, i.e., these algorithms may not terminate without a predefined number of iterations. This problem severely impacts the clustering quality and the efficiency of a differentially private algorithm. To resolve this problem, in this paper, we propose a novel differentially private clustering framework in the interactive settings which controls the orientation of the movement of the centroids over the iterations to ensure the convergence by injecting DP noise in a selected area. We prove that, in the expected case, algorithm under our framework converges in at most twice the iterations of Lloyd's algorithm. We perform experimental evaluations on real-world datasets to show that our algorithm outperforms the state-of-the-art of the interactive differentially private clustering algorithms with guaranteed convergence and better clustering quality to meet the same DP requirement.

研究动机与目标

• 解决现有差分隐私k均值聚类算法中无法在有界迭代次数内终止的非收敛问题。
• 在交互式环境下确保差分隐私k均值聚类的收敛性，同时保持强隐私保障。
• 通过利用中心点移动的时序知识，在相同差分隐私预算下提升聚类质量。
• 提供所提方法的理论收敛边界，并在真实世界数据集上进行实证验证。

提出的方法

• 该方法利用上一轮迭代的扰动中心点来定义当前迭代的收敛区域，并在该区域内注入差分隐私噪声。
• 采用两种策略控制中心点移动方向：一种基于过去移动方向（从t−1到t），另一种结合未来移动方向（从t到t+1），以提升收敛性。
• 在收敛区域内使用指数机制进行噪声注入，以确保差分隐私性，同时维持收敛性。
• 算法根据中心点移动轨迹动态调整噪声注入区域，确保稳定性与收敛性。
• 理论分析证明，该算法在期望情况下收敛所需迭代次数最多为Lloyd算法的两倍。
• 该方法结合过去与未来知识，显著提高收敛至与Lloyd算法相同解的概率，且在相同初始中心点下表现更优。

实验结果

研究问题

• RQ1 差分隐私k均值聚类能否在交互式环境中实现可靠收敛，而不同于现有方法存在的非收敛问题？
• RQ2 如何战略性地引导噪声注入，以在确保差分隐私的同时保持收敛性？
• RQ3 使用过去与未来中心点移动信息对收敛速度与解的保真度有何影响？
• RQ4 在相同隐私预算下，所提方法能否实现优于现有最先进差分隐私k均值聚类算法的聚类质量？
• RQ5 结合过去与未来知识是否显著提升收敛概率，相较于仅使用过去知识？

主要发现

• 所提算法在期望情况下，收敛至Lloyd算法解所需的迭代次数最多为其两倍。
• 当同时使用过去与未来知识时，算法以高概率收敛至与Lloyd算法相同的解，实际中至少匹配84%的输出中心点。
• 仅使用过去知识的后向策略（posterior strategy）最多匹配80%的Lloyd算法中心点，而结合过去与未来知识的前向策略（prior strategy）至少实现84%的匹配率。
• 在迭代次数方面，前向策略所需迭代次数为Lloyd算法的1.22至1.40倍，而后向策略仅需0.95至0.97倍，表明收敛质量与速度之间存在权衡。
• 在六个真实世界数据集上，所提方法在相同隐私预算下，聚类质量优于现有最先进差分隐私聚类算法。
• 实验结果验证了理论分析，显示迭代次数比值在不同隐私预算下保持稳定，且前向策略因需额外计算未来知识，始终需要更多迭代次数。