[論文レビュー] k-variates++: more pluses in the k-means++

Richard Nock, Raphaël Canyasse+2 more|arXiv (Cornell University)|Feb 3, 2016

Privacy-Preserving Technologies in Data参考文献 29被引用数 6

ひとこと要約

この論文は、元の手法の拡張として、データ点におけるデルタ関数に限定されない任意の確率密度関数を用いた重心選択を可能にする一般化された k-means++ シーディングアルゴリズム、k-variates++ を提案する。ノイズ成分への依存度を低くし、統計的下界に近づくバイアス＋分散の近似バウンドを提供することで、分散処理、ストリーミング、オンライン、および微分プライバシー設定下でも、効率的かつ理論的に保証された高い正確性を持つクラスタリングを実現する。

ABSTRACT

k-means++ seeding has become a de facto standard for hard clustering algorithms. In this paper, our first contribution is a two-way generalisation of this seeding, k-variates++, that includes the sampling of general densities rather than just a discrete set of Dirac densities anchored at the point locations, and a generalisation of the well known Arthur-Vassilvitskii (AV) approximation guarantee, in the form of a bias+variance approximation bound of the global optimum. This approximation exhibits a reduced dependency on the "noise" component with respect to the optimal potential --- actually approaching the statistical lower bound. We show that k-variates++ reduces to efficient (biased seeding) clustering algorithms tailored to specific frameworks; these include distributed, streaming and on-line clustering, with direct approximation results for these algorithms. Finally, we present a novel application of k-variates++ to differential privacy. For either the specific frameworks considered here, or for the differential privacy setting, there is little to no prior results on the direct application of k-means++ and its approximation bounds --- state of the art contenders appear to be significantly more complex and / or display less favorable (approximation) properties. We stress that our algorithms can still be run in cases where there is extit{no} closed form solution for the population minimizer. We demonstrate the applicability of our analysis via experimental evaluation on several domains and settings, displaying competitive performances vs state of the art.

研究の動機と目的

• k-means++ シーディングを離散的デルタ密度に限定されない任意の確率密度関数へ一般化すること。
• k-variates++ に対して、ノイズへの依存度を低くし、Fréchet-Cramér-Rao-Darmois 下界に近づく新しいバイアス＋分散近似バウンドを確立すること。
• 分散処理、ストリーミング、オンライン、および微分プライバシークラスタリングといった困難な設定において、効率的で理論的根拠のあるクラスタリングを可能にすること。
• これらの設定において、軽量で実用的なアルゴリズムに対する直接的な近似保証を提供し、従来の複雑または正確性に劣る手法を改善すること。
• k-variates++ が現実世界および合成データドメインにおいて、最先端の手法と比較して競争力のある性能を示す応用可能性を実証すること。

提案手法

• k-variates++ は、データ依存のプローブ関数と任意の密度族を用いて、クラスタ重心の選択重みを計算し、元の k-means++ がデルタ質量に依存するのを一般化する。
• アルゴリズムは二段階のプロセスを採用する：潜在関数に基づく非一様分布による初期重心選択、その後にプローブ関数を用いた反復的改善。
• 新規な近似バウンドを導入：期待コスト ≤ (2 + log k) × (6 × 最適ノイズフリーコスト + 2 × ノイズ (バイアス＋分散))、明示的な定数を含む。
• 統一された還元フレームワークを介して、k-variates++ は分散処理、ストリーミング、オンラインクラスタリング用の効率的でバイアスのあるシーディングアルゴリズムに還元可能である。
• 微分プライバシーの文脈では、k-variates++ はラプラス分布による摂動を直接適用し、標準ラプラスメカニズムに比べてノイズ効率が向上する。
• フレームワークは閉形式で表せない母集団最小化器をサポートしており、従来の手法が失敗するような複雑な歪み空間でも利用可能である。

実験結果

リサーチクエスチョン

• RQ1 k-means++ は、デルタ分布に限定されない任意の確率密度関数を用いた重心選択へ一般化可能であり、強力な近似保証を維持できるか？
• RQ2 提案された k-variates++ のバイアス＋分散近似バウンドは、既存手法と比較してノイズへの依存度が小さくなっているか？
• RQ3 k-variates++ は、分散処理、ストリーミング、オンラインクラスタリング用に、理論的に保証された正確性を持つ軽量なアルゴリズムを導出可能か？
• RQ4 k-variates++ は、標準メカニズムに比べてノイズを少なくして、より優れた微分プライバシーを実現できるか？
• RQ5 k-variates++ は、現実世界および合成データセットにおいて、最先端のクラスタリングおよびプライベートクラスタリング手法と比較して、実験的にどのように性能を発揮するか？

主な発見

• k-variates++ は明示的な定数を含む近似バウンドを達成：期待コスト ≤ (2 + log k) × (6 × 最適ノイズフリーコスト + 2 × ノイズ (バイアス＋分散)) であり、ノイズへの依存度が低減していることが示された。
• 近似バウンドは Fréchet-Cramér-Rao-Darmois 下界に近づき、統計的効率性においてほぼ最適であることを示している。
• EuropeDiff データセットでは、k-variates++ は GUPT よりクラスタリングポテンシャル比で最大 55 倍の優位性を示し、微分プライバシー下では Forgy 初期化より 10 倍の改善を達成した。
• 高次元の合成データ (d=15) においても、k-variates++ は強力な性能を維持し、80% の実行で GUPT や Forgy 初期化に比べて有利なポテンシャル比を示した。
• EuropeDiff (169,308 点) のような大規模データセットでは、k が増加するにつれて k-variates++ は常に他の手法を上回り、理論的予測を裏付けた。
• 標準ラプラスメカニズムに比べ、k-variates++ はより良いプライバシー・正確性トレードオフを達成し、すべての現実世界のケースで有効なプライバシーパラメータ ˜ε > ε が得られ、より低いノイズでより強いプライバシー保証を実現した。