[论文解读] Differentially-Private Clustering of Easy Instances

Edith Cohen, Haim Kaplan+3 more|arXiv (Cornell University)|Dec 29, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用 5

一句话总结

本文提出了一种针对‘易处理’数据实例（如分离良好的聚类或高斯混合模型）的实用差分隐私聚类框架，通过首先使用私有平均解决简化的 $k$-tuple 聚类问题，再将标准聚类任务归约为该问题。该方法实现了改进的样本复杂度，并在合成数据上进行了经验验证，展示了在以往方法过于复杂或不切实际的场景下的可行性。

ABSTRACT

Clustering is a fundamental problem in data analysis. In differentially private clustering, the goal is to identify $k$ cluster centers without disclosing information on individual data points. Despite significant research progress, the problem had so far resisted practical solutions. In this work we aim at providing simple implementable differentially private clustering algorithms that provide utility when the data is "easy," e.g., when there exists a significant separation between the clusters. We propose a framework that allows us to apply non-private clustering algorithms to the easy instances and privately combine the results. We are able to get improved sample complexity bounds in some cases of Gaussian mixtures and $k$-means. We complement our theoretical analysis with an empirical evaluation on synthetic data.

研究动机与目标

• 弥合理论上的差分隐私聚类与实际实现之间的差距，因为现有方法存在较大的隐藏常数和较差的效用。
• 解决设计简单、可实现的差分隐私聚类算法的挑战，使其在具有明显聚类分离的‘易处理’数据实例上表现良好。
• 通过利用一种新颖的 $k$-tuple 聚类抽象，降低私有 $k$-均值聚类和高斯混合模型聚类的样本复杂度。
• 在合成数据上对所提算法进行经验验证，展示其在理论噪声约束下的实际性能。
• 证明在合理的分离假设下，私有聚类既可以理论严谨，又具备实际可行性。

提出的方法

• 引入 $k$-tuple 聚类问题：当数据自然划分为 $k$ 个独立且分离良好的聚类时，从 $k$-元组中识别出 $k$ 个聚类中心。
• 设计一个私有算法 $\mathsf{PrivatekAverages}$，利用群体隐私和高斯机制对 $k$-元组进行私有平均，确保 $(\varepsilon,\delta)$-差分隐私。
• 将 $\mathsf{PrivatekAverages}$ 原语作为构建模块，构建 $\mathsf{PrivatekNoisyCenters}$，在稳定或分离性假设下输出适用于 $k$-均值聚类的差分隐私聚类中心。
• 通过 $\mathsf{PrivatekGMM}$ 将相同框架应用于高斯混合模型，利用私有平均和聚类，在分量均值满足分离条件时实现有效处理。
• 利用群体隐私和子采样降低噪声敏感性，尽管由于内部组件中隐私参数较小，实际中仍暴露出较大的隐藏常数。
• 通过在合成数据上的经验评估，展示方法在不同维度 $d$、聚类数 $k$ 和分离程度 $R$ 下的性能，突出内部私有平均带来的瓶颈。

实验结果

研究问题

• RQ1 能否设计出一种既理论严谨又可在实际中实现的差分隐私聚类算法，适用于分离良好的数据？
• RQ2 在分离假设下，私有 $k$-均值聚类所需的最小样本复杂度是多少？是否可通过一种新抽象得到改进？
• RQ3 由于差分隐私机制中的隐藏常数，私有聚类的实际性能如何退化？是否可缓解？
• RQ4 $k$-tuple 聚类抽象能否用于将复杂聚类任务简化为更简单的、具有可证明效用保证的私有原语？
• RQ5 与朴素的私有预处理方法（如对每个点添加噪声）相比，所提方法在样本效率和聚类准确率方面表现如何？

主要发现

• 所提出的 $\mathsf{PrivatekAverages}$ 算法需要 $O_{\varepsilon,\delta}(kd)$ 个元组（或当 $d$ 较大时为 $O_{\varepsilon,\delta}(k\sqrt{d})$）才能成功，相比以往工作实现了改进的样本复杂度。
• 尽管理论边界较强，但实际性能受限于一个巨大的隐藏常数（约 500,000），这是由于内部私有平均组件中隐私参数过小所致。
• 该方法成功聚类了 $d=1$、$k=2$、$R=512$ 的合成数据，优于朴素加噪基线方法，后者即使在 1 亿样本下也因噪声过大而失败。
• 该方法对高斯混合模型实现了 $\tilde{O}(dk)$ 的样本复杂度，显著优于渐近方法如 [SOAJ14] 所需的 $\tilde{\Omega}(dk^9)$ 样本。
• 该算法的时间复杂度为 $\tilde{O}(dk^2n)$，远快于指数时间的替代方案，尽管隐藏常数仍是实际应用中的瓶颈。
• 经验结果表明，主要性能瓶颈出现在第 5a 步的群体隐私机制中，当 $\ell \approx 1000$ 时，隐私参数极小（$\hat{\varepsilon} \approx \varepsilon / 4000k$），导致内部组件的噪声被显著放大。