[論文レビュー] An Empirical Evaluation of $k$-Means Coresets

Chris Schwiegelshohn, Omar Ali Sheikh-Omar|arXiv (Cornell University)|Jan 1, 2022

Advanced Clustering Algorithms Research被引用数 1

ひとこと要約

本稿は、k-meansコアセットアルゴリズムの包括的な実験的評価を初めて提示し、歪みを正確に測定することが計算的に困難であるにもかかわらず、新しいベンチマークを提案してコアセットの品質を評価する。実世界および合成データセット上で最先端のコアセット手法を評価した結果、感度サンプリングがクラスタ構造を保持する能力のおかげで、ベンチマーク上で最も優れた性能を示した。

ABSTRACT

Coresets are among the most popular paradigms for summarizing data. In particular, there exist many high performance coresets for clustering problems such as $k$-means in both theory and practice. Curiously, there exists no work on comparing the quality of available $k$-means coresets. In this paper we perform such an evaluation. There currently is no algorithm known to measure the distortion of a candidate coreset. We provide some evidence as to why this might be computationally difficult. To complement this, we propose a benchmark for which we argue that computing coresets is challenging and which also allows us an easy (heuristic) evaluation of coresets. Using this benchmark and real-world data sets, we conduct an exhaustive evaluation of the most commonly used coreset algorithms from theory and practice.

研究の動機と目的

• k-meansコアセットアルゴリズムの理論的成熟にもかかわらず、それらの間での実験的比較が不足しているという問題に取り組む。
• 特に歪みを正確に測定することが計算的に困難であるという、コアセット品質の評価における根本的課題を特定し、それに対処する。
• 最適化ヒューリスティクスに依存しない、意味のあるヒューリスティックに基づくコアセット品質の評価を可能にする新しいベンチマークを提案する。
• 実世界のデータセットおよび提案されたベンチマーク上で、先進的なコアセットアルゴリズムの体系的評価を実施し、それらの実験的性能を評価する。

提案手法

• コアセット構築に対して挑戦的であるように設計された、制御されたクラスタ構造と中心点が増加する際の遅いコスト減衰を特徴とする、新しいベンチマークフレームワークを提案する。
• ヒューリスティックな評価戦略を用いる：コアセットを生成し、それを用いてk-meansを実行し、異なるアルゴリズム間でのクラスタリングコストを比較する。
• BICO、グループサンプリング、レイメイカー、感度サンプリング、StreamKM++ を含む、標準的なコアセット構築アルゴリズムを多様なデータセットに適用する。
• 主成分分析（PCA）を用いて、高次元データセット（例：Census、NYTimes）を事前に処理し、次元削減を実施してからコアセットを構築する。
• 複数回の実行とk値の変化にわたって、コアセット上のクラスタリングコストと全データセット上のコストの比として歪みを測定する。
• 実世界データおよび合成データの両方で、アルゴリズム間の平均コストおよび標準偏差を統計的に比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜ候補となるコアセットの歪みを正確に測定することが計算的に困難なのか？その困難さを裏付ける証拠は何か？
• RQ2 正確な歪み測定が不可能な状況において、どのように意味のあるコアセット品質の評価が可能になるか？
• RQ3 多様な実世界および合成データセットにおいて、実用的に最も優れたコアセット構築アルゴリズムはどれか？
• RQ4 データ次元数、中心点数、データ構造の変化に伴い、コアセットアルゴリズムの性能はどのように変化するか？
• RQ5 最適化ヒューリスティクスと組み合わせた場合、コアセットアルゴリズムの選択が最終的なクラスタリングコストに顕著に影響を与えるか？

主な発見

• 感度サンプリングは、提案されたベンチマーク上で一貫して最も低いクラスタリングコストを達成しており、クラスタ構造を保持する能力に優れていることが示された。
• Covertype や Caltech などの実世界データセットでは、すべてのコアセットアルゴリズムが類似したクラスタリングコストを生じさせ、実用的には差がほとんどないことが示された。
• BICO および Ray Maker は、NYTimes データセットで高い歪み（最大35.3）を示し、高次元でスパースなデータに対しては性能が劣ることが判明した。
• ベンチマークフレームワークにより、特に制御されたクラスタ幾何構造を持つ合成データにおいて、歪みがアルゴリズム間で顕著に異なることが明らかになった。
• PCAの前処理により、高次元データセットにおけるコアセット品質が向上し、特にBICOおよびRay Makerでは歪みが最大50％まで低下した事例もあった。
• 評価のヒューリスティクスは、コアセット品質と最適化アルゴリズムの性能を混同しており、コアセット構築そのものの評価には信頼性が欠ける。