[論文レビュー] The k-means-u* algorithm: non-local jumps and greedy retries improve k-means++ clustering

Bernd Fritzke|arXiv (Cornell University)|Jun 27, 2017

Data Mining Algorithms and Applications被引用数 5

ひとこと要約

この論文では、k-means++を改善する非局所的ジャンプとグリーディリトライを導入することで、局所的最小値に陥りやすい問題を緩和する、k-means-u*と呼ばれる強化されたクラスタリングアルゴリズムを提案する。繰り返し、最小に寄与する中心を局所誤差が最大の領域にランダムな摺れ込みを伴って再配置し、劣悪なジャンプに対してグリーディリトライを実行することで、k-means++よりも顕著に低い二乗誤差和（SSE）を達成する。さまざまなデータセットで、SSEは最大8%まで改善され、計算コストの増加は限定的である。

ABSTRACT

We present a new clustering algorithm called k-means-u* which in many cases is able to significantly improve the clusterings found by k-means++, the current de-facto standard for clustering in Euclidean spaces. First we introduce the k-means-u algorithm which starts from a result of k-means++ and attempts to improve it with a sequence of non-local "jumps" alternated by runs of standard k-means. Each jump transfers the "least useful" center towards the center with the largest local error, offset by a small random vector. This is continued as long as the error decreases and often leads to an improved solution. Occasionally k-means-u terminates despite obvious remaining optimization possibilities. By allowing a limited number of retries for the last jump it is frequently possible to reach better local minima. The resulting algorithm is called k-means-u* and dominates k-means++ wrt. solution quality which is demonstrated empirically using various data sets. By construction the logarithmic quality bound established for k-means++ holds for k-means-u* as well.

研究の動機と目的

• 初期化に敏感であるため、k-means++が劣悪な局所的最小値に収束するという限界を解消すること。
• 理論的品質バインディングを損なわず、k-means++の解を向上させる手法を開発すること。
• 非局所的ジャンプのリトライメカニズムを導入することで、局所最適化の早期終了の可能性を低減すること。
• 多様なデータ分布において、k-means-u*がk-means++を常に上回ることを実証的に検証すること（クラスタリング品質（SSE）の観点から）。

提案手法

• k-means-u*アルゴリズムはk-means++の初期化から出発し、クラスタリングの改善を図る一連の非局所的ジャンプを適用する。
• 各ジャンプでは、局所誤差に基づいて最も寄与度が低い中心を、局所誤差が最大の中心に向かって、わずかなランダムベクトルを加算して再配置する。
• 各ジャンプの後、標準的なk-means反復を実行して構成を最適化する。
• 誤差が増加した場合、最新のジャンプに対して制限付きのグリーディリトライを実施し、劣悪な局所的最小値からの脱出を可能にする。
• リトライはランダムな摂動を用いて実施され、再び劣悪な経路を踏襲するのを避ける。
• k-means++が保証する対数的近似バインディングを維持するため、k-means-u*の解は初期のk-means++結果より悪化しないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 非局所的ジャンプとグリーディリトライを組み合わせることで、k-means++のクラスタリング品質を顕著に向上させられるか？
• RQ2 k-means-u*は、依然として最適化の余地が残っているにもかかわらず、なぜ時々早期に終了してしまうのか？
• RQ3 k-means-u*は、さまざまなデータ構造とkの値において、二乗誤差和（SSE）の観点でk-means++をどの程度上回るのか？
• RQ4 特に高次元または複雑なデータ設定において、k-means-u*の計算コストはk-means++およびk-means-uと比較してどの程度か？

主な発見

• k-means-u*は、さまざまなデータセットにおいてk-means++よりも平均で最大8%のSSE低減を達成しており、データ構造やkの値によってその改善幅は変動する。
• 推進力データセットでは、k-means++のすべての解がk-means-u*によって改善されたが、平均的な改善率は約2%であった。
• 計算コストの増加は限定的であり、k-means++に比べ最大230%まで上昇するが、最大のデータセットでは50%未満にとどまる。
• k-means-u*は解の品質においてk-means-uおよびk-means++を常に上回り、リトライメカニズムのおかげで誤差が単調に減少する。
• k-means++が保証する対数的品質バインディングはk-means-u*に対しても保持されており、解の品質に関する理論的保証が得られる。
• kがクラスタ数の小さな倍数である場合でも、k-means++が苦戦する状況においても効果的であり、5次元のガウス混合分布のような高次元設定でも良好に動作する。