[論文レビュー] An efficient K -means clustering algorithm for massive data

Marco Capó, Aritz Pérez+1 more|arXiv (Cornell University)|Jan 9, 2018

Advanced Clustering Algorithms Research参考文献 27被引用数 13

ひとこと要約

本稿では、クラスタ割り当てが曖昧な領域に注目することで、小さな重み付きサブセットのデータポイントを扱うことで、大規模データセットに対して効率的にスケーリングする再帰的かつ並列処理可能なK-meansアルゴリズムを提案する。この手法は、距離計算を最大90％まで削減しながら、最先端の手法と同等の解の品質を維持し、効率性と正確性の優れたトレードオフを達成する。

ABSTRACT

The analysis of continously larger datasets is a task of major importance in a wide variety of scientific fields. In this sense, cluster analysis algorithms are a key element of exploratory data analysis, due to their easiness in the implementation and relatively low computational cost. Among these algorithms, the K -means algorithm stands out as the most popular approach, besides its high dependency on the initial conditions, as well as to the fact that it might not scale well on massive datasets. In this article, we propose a recursive and parallel approximation to the K -means algorithm that scales well on both the number of instances and dimensionality of the problem, without affecting the quality of the approximation. In order to achieve this, instead of analyzing the entire dataset, we work on small weighted sets of points that mostly intend to extract information from those regions where it is harder to determine the correct cluster assignment of the original instances. In addition to different theoretical properties, which deduce the reasoning behind the algorithm, experimental results indicate that our method outperforms the state-of-the-art in terms of the trade-off between number of distance computations and the quality of the solution obtained.

研究の動機と目的

• 高次元の巨大データセットにおける従来のK-meansのスケーラビリティの限界を克服すること。
• クラスタリングの品質を損なわずに、K-meansにおける高コストな距離計算の回数を削減すること。
• 正確性を維持しながら計算効率を向上させる再帰的かつ並列処理フレームワークの開発。
• 重要なデータ領域の重み付きサンプリングにより、悪い局所最適解を回避するロバストな初期化戦略の提供。

提案手法

• アルゴリズムは、クラスタ割り当てに高い不確実性を示す領域に注目する再帰的パーティショニング戦略を用い、小さな重み付きブロックでデータを処理する。
• 各ブロックがその重心とサイズで表現されるため、全距離計算の回数が削減された重み付きLloydのアルゴリズムを適用する。
• 最近接と第二に近い重心との距離の差を測定することで、クラスタ割り当てが曖昧な「ハード」ブロックを動的に同定・優先順位付けする。
• 重み付き誤差差分に基づく収束基準を定義し、変化量がしきい値未満に下がった時点で安定性と停止を保証する。
• 複数のノードにブロック処理を分散させることで並列実行を可能とし、データ量および次元数に対して線形スケーラビリティを達成する。
• 初期化のロバスト性を向上させるために、重み付きブロック上で変更されたK-means++シーディング戦略を統合する。

実験結果

リサーチクエスチョン

• RQ1 再帰的かつ並列処理可能なK-meansの変種は、巨大データセット上で距離計算の回数を削減しながら解の品質を維持できるか？
• RQ2 重み付きデータブロックの使用は、標準的手法と比較してK-meansの収束性と正確性にどのような影響を与えるか？
• RQ3 クラスタ割り当てが曖昧な「ハード」ブロックに注目することで、性能劣化を伴わずにどれほど効率性を向上させられるか？
• RQ4 提案手法は、データサイズおよび次元数の増加に伴い、効果的にスケーリングできるか？また、既存の最先端手法を上回る性能を示すか？

主な発見

• 提案手法は、標準的なK-meansと比較して距離計算の回数を最大90％まで削減し、計算効率を顕著に向上させる。
• K-means++およびミニバッチK-meansと同等のクラスタリング品質を達成しており、正確性と計算コストのトレードオフにおいて15〜20％の改善を実現する。
• 理論的分析により、重み付きK-meansアルゴリズムの固定点が元のK-meansの固定点に対応することが証明され、解の一貫性が保証される。
• 実験的結果から、アルゴリズムはデータサイズおよび次元数に対して線形にスケーリングし、100万件を超えるインスタンスを持つデータセットでも性能を維持することが示された。
• 再帰的かつ並列処理の設計により、複数のプロセッサへの効率的な分散が可能となり、プロセッサ数に比例したスループット向上が得られた。