[論文レビュー] Estimating the Number of Clusters via Normalized Cluster Instability

Jonas M B Haslbeck, Dirk U. Wulff|arXiv (Cornell University)|Aug 26, 2016

Data Analysis with R参考文献 14被引用数 3

ひとこと要約

本稿では、クラスタサイズ分布の影響を補正する正規化されたクラスタ不安定性測度を提案し、特に大きなkの場合にk-meansのクラスタ数推定の正確性を顕著に向上させる。この手法は非正規化された不安定性測度を上回り、ガウス・ミックスチャネル・モデルなどの距離ベースの手法と同等またはそれを上回る性能を示す。モデルベースおよびモデルフリーの不安定性アプローチは、同等の性能を示す。

ABSTRACT

We improve current instability-based methods for the selection of the number of clusters $k$ in cluster analysis by developing a normalized cluster instability measure that corrects for the distribution of cluster sizes, a previously unaccounted driver of cluster instability. We show that our normalized instability measure outperforms current instability-based measures across the whole sequence of possible $k$ and especially overcomes limitations in the context of large $k$. We also compare, for the first time, model-based and model-free approaches to determine cluster-instability and find their performance to be comparable. We make our method available in the R-package \verb+cstab+.

研究の動機と目的

• kが大きく、またはクラスタサイズが不均一な場合に、既存の不安定性に基づく手法が有する限界に対処すること。
• クラスタサイズ分布Mが不安定性に与える混同要因（バイアス）を是正すること。
• モデルベースおよびモデルフリーのクラスタ不安定性アプローチを、体系的に初めて比較すること。
• 多様なクラスタリング状況において安定性に基づくk選択を向上させる、新たな正規化不安定性測度の開発と検証すること。

提案手法

• クラスタサイズ分布Mに起因する期待される偶然一致を考慮して、元のクラスタリング距離d^r(ψ_a, ψ_b)を補正する正規化不安定性測度d^n(ψ_a, ψ_b)を提案する。
• データの複数回の摂動（ブートストラップ）を用いて不安定性を推定し、対象オブジェクトのペア間の平均不一致を推定する。
• ランダムクラスタリング下での期待ランジ係数に基づく補正因子を導出し、不安定性を正規化する。
• kの複数の値に対して正規化不安定性測度を適用し、不安定性が最小となるkをクラスタ数の推定値として選択する。
• 不安定性の計算に、モデルベース（パラメトリック・ブートストラップ）およびモデルフリー（ノンパラメトリック・ブートストラップ）の両方のリサンプリング戦略を採用する。
• k*とクラスタ形状（円形対長細型）が異なる4つの合成クラスタリングシナリオにおいて、広範なシミュレーションを実施して手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 クラスタサイズ分布Mが、非正規化されたクラスタ不安定性測度のk選択性能に与える影響は何か？
• RQ2 Mを補正する正規化不安定性測度は、特に大きなkの場合に、k推定の正確性を全範囲で向上させ得るか？
• RQ3 モデルベースおよびモデルフリーの不安定性計算アプローチは、性能および収束性においてどのように比較されるか？
• RQ4 提案された正規化により、不安定性に基づく手法が、ギャップ統計量やガウス・ミックスチャネル・モデルなどの確立された距離ベースのk選択手法を上回るか？
• RQ5 ブートストラップサンプル数Bの増加に伴い、モデルベースおよびモデルフリーの不安定性推定値の収束行動はいかなるものか？

主な発見

• 正規化不安定性測度は、テストした全k値において非正規化不安定性手法を顕著に上回り、特にkが大きく、またはクラスタサイズが不均一な場合に顕著な優位性を示す。
• k*=7で長細クラスタが存在するシナリオでは、非正規化手法は完全に失敗（性能がゼロに低下）したが、正規化手法は依然として多数のケースでk*を正しく同定した。
• ガウス・ミックスチャネル・モデルは距離ベース手法の中で最高の性能を示したが、正規化不安定性手法は、ギャップ統計量やジャンプ統計量を含む、他のすべての距離ベース手法を上回った。
• モデルベースおよびモデルフリーの不安定性アプローチは、ほぼ同一の性能を示し、その不安定性経路間の相関係数は0.98〜1.0の範囲にあった。
• 5,000個のブートストラップサンプルでも、2つの不安定性手法は完全に収束しなかったが、両者とも0.038付近の狭い範囲に安定した。
• 提案された正規化は、クラスタサイズによる偶然一致の影響を効果的に制御し、クラスタサイズが著しく不均衡であっても信頼できるk推定を可能にした。