[論文レビュー] Stop using the elbow criterion for k-means and how to choose the number of clusters instead

Erich Schubert|arXiv (Cornell University)|Dec 23, 2022

Advanced Clustering Algorithms Research被引用数 9

ひとこと要約

この論文は、k-meansクラスタリングにおけるクラスタ数の選択にエルボー基準を使用することを反論しており、理論的根拠の欠如と多様なデータ型における性能の悪さを挙げている。代わりに、Calinski-Harabasz VRC、ベイジアン情報量基準（BIC）、ギャップ統計量といった優れた代替手法を提唱しており、これらはさまざまなデータ構造においてより信頼性が高く一貫性のあるクラスタ選択を可能にする。

ABSTRACT

A major challenge when using k-means clustering often is how to choose the parameter k, the number of clusters. In this letter, we want to point out that it is very easy to draw poor conclusions from a common heuristic, the "elbow method". Better alternatives have been known in literature for a long time, and we want to draw attention to some of these easy to use options, that often perform better. This letter is a call to stop using the elbow method altogether, because it severely lacks theoretic support, and we want to encourage educators to discuss the problems of the method -- if introducing it in class at all -- and teach alternatives instead, while researchers and reviewers should reject conclusions drawn from the elbow method.

研究の動機と目的

• エルボー基準が理論的根拠に欠け、一貫性のない性能を示すため、k-meansクラスタリングにおける広範な使用を疑問視すること。
• エルボー法は非球形、重複する、または正規分布でないデータ分布ではしばしば失敗し、誤ったクラスタ数を導くこと。
• Calinski-Harabasz VRC、ベイジアン情報量基準（BIC）、ギャップ統計量といった、確立されたより頑健な代替手法によるk選択の推奨。
• 教育者、実務家、レビュアーに対し、エルボー法に基づく結論の推奨や受容をやめ、より信頼性の高い評価手法に移行するよう促すこと。
• クラスタ分析を探索的プロセスとして再定義し、複数の妥当な解が存在しうり、「最適」なkは本質的に主観的であると認識すること。

提案手法

• CalinskiとHarabaszの分散比基準（VRC）に、エルボー法の代わりに採用すること。これはクラスタ間の分離度をクラスタ内分散に対して評価する。
• モデルの適合度と複雑さのバランスを取るためにベイジアン情報量基準（BIC）を推奨し、クラスタ数とデータポイント数を組み込んで過学習を抑える。
• ギャップ統計量を支持する。これは、均一分布下での参照分布における全クラスタ内分散と比較し、ギャップが最大になるkを特定する。
• これらの代替手法は統計理論に裏付けられており、ヒューリスティックなエルボー法とは異なり、先行研究で検証済みである。
• これらの手法は実装・解釈が容易であり、教育的および研究的文脈においても適していると提言する。
• k-means自体は球形でサイズが等しいクラスタ、等方的分散を仮定しているため、k選択手法はこの前提を踏まえる必要があると強調する。

実験結果

リサーチクエスチョン

• RQ1 なぜエルボー基準はk-meansクラスタリングにおける最適なクラスタ数を決定するのに信頼できないとされるのか？
• RQ2 VRC、BIC、ギャップ統計量といった確立された代替手法は、一貫性と理論的整合性の面でなぜエルボー法を上回るのか？
• RQ3 どのようなデータ環境でエルボー法が失敗し、その失敗が実世界のクラスタリング応用における使用を根底から揺るがすのか？
• RQ4 学術的研究およびデータサイエンス実務においてエルボー法に依存することは、どのような影響を及えるのか？
• RQ5 教育者やレビュアーは、より頑健な評価手法にエルボー法を置き換えることで、クラスタ分析の質をどのように向上させられるか？

主な発見

• エルボー法は、非球形、重複する、または正規分布でないデータ（例：一様ノイズ、多変量正規分布）ではしばしば誤った結果を生じる。
• クラスタの自然な構造がないデータに対しても、エルボー図はしばしば同様の「エルボー」形状を示し、識別力の欠如を示している。
• Calinski-Harabasz VRC、BIC、ギャップ統計量は、明確に分離されたクラスタ、重複するクラスタ、複雑な形状のクラスタを含む多様なデータタイプにおいて、エルボー法を一貫して上回る性能を示す。
• VRCとBICは数学的に裏付けられており、モデルの複雑さをペナルティとして課すため、誤ったクラスタ構造への過学習のリスクが低下する。
• ギャップ統計量は、根拠に基づいた参照比較を提供し、実際のクラスタ構造とランダムノイズとの区別が最も明確になるkを特定する。
• 本論文は、クラスタ分析において単一の「最適」kが存在しないと結論づけ、複数の妥当な解が存在しうることを強調しており、信頼性の高い解釈のためには頑健な評価手法が不可欠であるとしている。