[論文レビュー] Differentially Private k-Means Clustering with Guaranteed Convergence

Zhigang Lü, Hong Shen|arXiv (Cornell University)|Feb 3, 2020

Privacy-Preserving Technologies in Data参考文献 28被引用数 4

ひとこと要約

本稿では、摂動された重心の周囲の動的かつ定義された収束領域にノイズを注入することで、過去と未来の重心移動方向を用いて収束を保証する、新しい微分プライバシーk-meansクラスタリングフレームワークを提案する。この手法は、Lloydのアルゴリズムの2倍以内の反復回数で収束を保証し、最先端の手法と比較して同じプライバシー予算下で優れたクラスタリング品質を達成する。

ABSTRACT

Iterative clustering algorithms help us to learn the insights behind the data. Unfortunately, this may allow adversaries to infer the privacy of individuals with some background knowledge. In the worst case, the adversaries know the centroids of an arbitrary iteration and the information of n-1 out of n items. To protect individual privacy against such an inference attack, preserving differential privacy (DP) for the iterative clustering algorithms has been extensively studied in the interactive settings. However, existing interactive differentially private clustering algorithms suffer from a non-convergence problem, i.e., these algorithms may not terminate without a predefined number of iterations. This problem severely impacts the clustering quality and the efficiency of a differentially private algorithm. To resolve this problem, in this paper, we propose a novel differentially private clustering framework in the interactive settings which controls the orientation of the movement of the centroids over the iterations to ensure the convergence by injecting DP noise in a selected area. We prove that, in the expected case, algorithm under our framework converges in at most twice the iterations of Lloyd's algorithm. We perform experimental evaluations on real-world datasets to show that our algorithm outperforms the state-of-the-art of the interactive differentially private clustering algorithms with guaranteed convergence and better clustering quality to meet the same DP requirement.

研究の動機と目的

• 限定された反復回数内で終了しない既存の微分プライバシーk-meansアルゴリズムにおける収束不能問題に対処すること。
• インタラクティブ設定下でも微分プライバシーの強い保証を維持しつつ、微分プライバシーk-meansクラスタリングの収束を保証すること。
• 重心移動の時間的知識を活用することで、同じ微分プライバシー予算下でクラスタリング品質を向上させること。
• 提案手法の理論的収束境界と、実世界のデータセットを用いた実験的検証を提供すること。

提案手法

• 本手法は、前回反復の摂動された重心を保持し、それらを用いて現在の反復における収束領域を定義する。この領域内で微分プライバシーのノイズが注入される。
• 重心移動の方向を制御する2つの戦略を用いる：1つはt−1からtへの移動（過去の移動）に基づくもので、もう1つはtからt+1への移動（将来の移動）を組み込むもので、収束性の向上を図る。
• 収束を保証しつつ微分プライバシーを満たすために、収束領域内で指数分布マシンを用いてノイズを注入する。
• アルゴリズムは重心移動の軌道に基づき、ノイズ注入領域を動的に調整することで、安定性と収束性を確保する。
• 理論的分析により、アルゴリズムが期待値においてLloydのアルゴリズムの2倍以内の反復回数で収束することを証明する。
• 本手法は過去と未来の両方の知識を統合することで、同じ初期重心条件下でLloydのアルゴリズムと同じ解に収束する確率を高める。

実験結果

リサーチクエスチョン

• RQ1 既存手法が収束不能を示すのとは異なり、インタラクティブ設定下でも微分プライバシーk-meansクラスタリングを信頼性高く収束させることは可能か？
• RQ2 ノイズ注入を戦略的に制御することで、収束性を保ちつつ微分プライバシーを確保することは可能か？
• RQ3 過去の重心移動情報と将来の重心移動情報の両方を用いることで、収束速度と解の忠実度にどのような影響を与えるか？
• RQ4 同じプライバシー予算下で、提案手法は最先端の微分プライバシーk-meansアルゴリズムを上回るクラスタリング品質を達成できるか？
• RQ5 過去の知識に加えて将来の知識も用いることで、単に過去の知識のみを用いる場合と比較して、収束確率が顕著に向上するか？

主な発見

• 提案されたアルゴリズムは、期待値においてLloydのアルゴリズムの2倍以内の反復回数で、Lloydのアルゴリズムの解に収束する。
• 過去と未来の両方の知識を用いる場合、アルゴリズムはLloydのアルゴリズムと同じ解に高い確率で収束し、実際には少なくとも84％の出力重心が一致する。
• 事後戦略（過去の知識のみを用いる）ではLloydの重心と一致する割合が80％未満にとどまるが、事前戦略（過去と未来の両方の知識を用いる）では少なくとも84％の一致率を達成する。
• 反復回数の観点では、事前戦略はLloydのアルゴリズムの1.22～1.40倍の反復回数を要するが、事後戦略は0.95～0.97倍にとどまる。これは収束品質と速度のトレードオフを示している。
• 6つの実世界データセットにおいて、提案手法は同じプライバシー予算下で最先端の微分プライバシークラスタリングアルゴリズムを上回るクラスタリング品質を達成する。
• 実験結果は理論的分析を裏付け、反復比がさまざまなプライバシー予算で安定しており、追加の将来知識計算を伴うため、事前戦略は一貫してより多くの反復回数を要することが確認された。