[論文レビュー] Differentially-Private Clustering of Easy Instances

Edith Cohen, Haim Kaplan+3 more|arXiv (Cornell University)|Dec 29, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用数 5

ひとこと要約

本稿では、明確に分離されたクラスターやガウス混合モデルなどの「簡単な」データインスタンスに対して、実用的な微分プライバシー付きクラスタリングフレームワークを提案する。まず、プライベート平均を用いて簡略化された $k$-タプルクラスタリング問題を解き、その後、標準的なクラスタリング問題をこの問題に還元する。このアプローチにより、より良いサンプル複雑性が達成され、合成データ上で実証的に検証されており、従来の方法が複雑すぎたり実用的でなかった分野においても実現可能性が示された。

ABSTRACT

Clustering is a fundamental problem in data analysis. In differentially private clustering, the goal is to identify $k$ cluster centers without disclosing information on individual data points. Despite significant research progress, the problem had so far resisted practical solutions. In this work we aim at providing simple implementable differentially private clustering algorithms that provide utility when the data is "easy," e.g., when there exists a significant separation between the clusters. We propose a framework that allows us to apply non-private clustering algorithms to the easy instances and privately combine the results. We are able to get improved sample complexity bounds in some cases of Gaussian mixtures and $k$-means. We complement our theoretical analysis with an empirical evaluation on synthetic data.

研究の動機と目的

• 理論的微分プライバシークラスタリングと実装のギャップを埋めること。既存の手法は大きな隠れ定数と低い利便性を抱える。
• 明確なクラスタ分離を持つ「簡単な」データインスタンスでうまく機能する、シンプルで実装可能な微分プライバシークラスタリングアルゴリズムの設計に挑戦すること。
• 新しい $k$-タプルクラスタリングの抽象化を活用して、プライベート $k$-means およびガウス混合モデルクラスタリングのサンプル複雑性を低減すること。
• 合成データ上で提案されたアルゴリズムを実証的に検証し、理論的ノイズ制約のもとでも実用的な性能を示すこと。
• 微分プライバシークラスタリングが現実的な分離仮定のもとで理論的にも的確で、かつ実用的にも可能であることを示すこと。

提案手法

• 「$k$-タプルクラスタリング問題」を導入：データが自然に $k$ 個の明確に分離されたクラスタに分割される場合に、$k$ 個のクラスタ中心を特定すること。
• $\mathsf{PrivatekAverages}$ と呼ばれるプライベートなアルゴリズムを設計。グループプライバシーとガウスメカニズムを用いて $k$-タプルのプライベート平均を計算し、$(\varepsilon,\delta)$-微分プライバシーを保証する。
• $\mathsf{PrivatekAverages}$ を基本部品として用い、安定性または分離仮定のもとで $k$-means クラスタリングの微分プライバシークラスタ中心を出力する $\mathsf{PrivatekNoisyCenters}$ を構築する。
• ガウス混合モデルに対しても、同様のフレームワークを $\mathsf{PrivatekGMM}$ を用いて適用。成分の平均に分離条件を課し、プライベート平均とクラスタリングを組み合わせる。
• グループプライバシーとサブサンプリングを活用してノイズ感受性を低減するが、内部コンponentsにおける小さなプライバシーパラメータのため、実際には大きな隠れ定数が顕在化する。
• 合成データを用いた実験により、次元 $d$、クラスタ数 $k$、分離度 $R$ の変動に応じた性能を評価。内部プライベート平均の影響が主なボトルネックであることを強調。

実験結果

リサーチクエスチョン

• RQ1 明確に分離されたデータに対して、理論的にも的確で、かつ実装可能な微分プライバシークラスタリングアルゴリズムは可能か？
• RQ2 分離仮定のもとで、プライベート $k$-means クラスタリングに必要な最小サンプル複雑性は何か？そして、新しい抽象化によって改善可能か？
• RQ3 微分プライバシー機構における隠れ定数の影響により、実用的なクラスタリング性能はどの程度劣化するか？その影響を軽減できるか？
• RQ4 $k$-タプルクラスタリング抽象化を用いて、複雑なクラスタリング問題を、利便性保証付きのシンプルなプライベートプリミティブに還元できるか？
• RQ5 提案手法は、各点にノイズを追加するナイーブなプライベート事前処理（例：100Mサンプル）と比較して、サンプル効率とクラスタリング精度の点で優れているか？

主な発見

• $\mathsf{PrivatekAverages}$ アルゴリズムは、$O_{\varepsilon,\delta}(kd)$ 個のタプル（$d$ が大きい場合には $O_{\varepsilon,\delta}(k\sqrt{d})$）が必要であり、先行研究より優れたサンプル複雑性を達成する。
• 強い理論的境界があるにもかかわらず、内部プライベート平均コンponentsにおける小さなプライバシーパラメータのため、大きな隠れ定数（約500,000）が実験的性能を制限している。
• 本手法は $d=1$, $k=2$, $R=512$ の合成データを正しくクラスタリングでき、ノイズ追加ベースライン（100Mサンプルでも失敗）を上回る性能を示した。
• ガウス混合モデルでは $\tilde{O}(dk)$ のサンプル複雑性を達成し、[SOAJ14] らの漸近的手法（$\tilde{\Omega}(dk^9)$ 必要）よりも顕著に優れている。
• アルゴリズムの実行時間は $\tilde{O}(dk^2n)$ であり、指数時間の代替手法に比べてはるかに効率的だが、隠れ定数の問題が実用的ボトルネックのまま残っている。
• 実験結果から、主な性能ボトルネックはステップ5aのグループプライバシー機構であり、$\ell \approx 1000$ の場合、プライバシーパラメータ $\hat{\varepsilon} \approx \varepsilon / 4000k$ が非常に小さくなり、内部コンponentsでのノイズが増幅される。