[論文レビュー] Monte Carlo approximation certificates for k-means clustering

Dustin G. Mixon, Soledad Villar|arXiv (Cornell University)|Oct 3, 2017

Data Management and Algorithms参考文献 1被引用数 3

ひとこと要約

本稿では、小さなランダムなデータサブセット上で半定値計画法（SDP）の緩和問題を解くことで、k-meansクラスタリングの近似証明を生成する、線形でないモンテカルロアルゴリズムを提案する。この手法により、ℝ^m における2つの等方的ガウス分布の混合から得られるデータに対して、最適k-means目的関数の高い信頼下限が得られ、99%の信頼度で3-近似証明が得られる。また、大規模データセットではk-means++よりも高速に動作する。

ABSTRACT

Efficient algorithms for $k$-means clustering frequently converge to suboptimal partitions, and given a partition, it is difficult to detect $k$-means optimality. In this paper, we develop an a posteriori certifier of approximate optimality for $k$-means clustering. The certifier is a sub-linear Monte Carlo algorithm based on Peng and Wei's semidefinite relaxation of $k$-means. In particular, solving the relaxation for small random samples of the dataset produces a high-confidence lower bound on the $k$-means objective, and being sub-linear, our algorithm is faster than $k$-means++ when the number of data points is large. We illustrate the performance of our algorithm with both numerical experiments and a performance guarantee: If the data points are drawn independently from any mixture of two Gaussians over $\mathbb{R}^m$ with identity covariance, then with probability $1-O(1/m)$, our $\operatorname{poly}(m)$-time algorithm produces a 3-approximation certificate with 99% confidence.

研究の動機と目的

• 標準的なヒューリスティック手法がしばしば部分最適解に収束するため、k-meansクラスタリングにおける近似的最適性の検証という課題に取り組む。
• k-meansやSDPの完全な解法よりも計算コストが低い、後から生成可能な近似的最適性の証明を高速かつスケーラブルに生成する手法を開発する。
• 特定の確率的データモデル下で、k-means目的関数の下限が近似的に最適であることを統計的に保証する。
• 大規模データセットにおいて、下限の質と計算効率の両面でk-means++を上回ることを目的とする。

提案手法

• 本手法は、PengとWeiのk-means問題に対する半定値緩和を基盤とし、最適k-means目的関数の下限を導出する。
• 小さなランダムサンプル上でSDP緩和問題を解くことで、線形でないモンテカルロアプローチを適用し、下限を推定する。
• 期待値が真のk-means目的関数の下限となる非負の確率変数を構築し、統計的仮説検定を可能にする。
• 検定統計量 T は、この確率変数の ℓ 個の独立な実現値の最小値として計算され、真の期待値が閾値 B より小さいという帰無仮説を棄却するために用いられる。
• 高い確率での信頼区間を導出するために、集中不等式（マルコフの不等式およびカイ二乗分布の境界）を用いる。
• SDP解に対するスペクトルノルムおよびノルムの境界を組み合わせることで、サンプルデータおよび確率的行列項を含む計算可能な下限式を導出する。

実験結果

リサーチクエスチョン

• RQ1 線形でないモンテカルロアルゴリズムは、k-means++の保証よりも著しく優れた信頼性の高い下限を、k-means目的関数に対して生成できるか？
• RQ2 どのようなデータの仮定のもとで、小さなサブセット上のSDP緩和が近似的に最適な下限を提供するか？
• RQ3 提案手法は、高次元におけるガウス混合モデルに対して、99%の信頼度で3-近似証明を達成できるか？
• RQ4 データ点の数が多い場合、証明の計算コストはk-means++と比べてどのように異なるか？

主な発見

• ℝ^m における2つの等方的ガウス分布の混合から得られるデータに対して、多項式時間（poly(m)）の計算量で、99%の信頼度で3-近似証明が得られる。
• 特に高次元設定において、k-means++の保証よりも著しくタイトな下限が達成される。
• 高い確率（1−O(1/m）で、アルゴリズムの下限は少なくとも2Bに達するが、真の最適値は3B以下であるため、部分最適解の強力な統計的棄却が可能である。
• アルゴリズムはデータサイズに対して線形でない時間計算量で動作するため、データ点数が多い場合にはk-means++よりも高速に動作する。
• 性能保証は、ガウス仮定下で頑健であることを保証する、カイ二乗分布およびスペクトルノルムの集中不等式に依存する。
• ℓ=7 個の独立なサンプルに対する和集合不等式により、帰無仮説を棄却するp値が0.01未満となり、高い信頼度で証明が妥当であることが検証される。