[論文レビュー] Estimating the number of clusters using cross-validation

Wei Fu, Patrick O. Perry|arXiv (Cornell University)|Feb 9, 2017

Advanced Clustering Algorithms Research参考文献 23被引用数 12

ひとこと要約

この論文は、欠損データを伴う予測問題としてクラスタリングを扱うことで、k-meansクラスタリングにおける最適なクラスタ数の推定のための新規交差検証手法を提案する。この手法は、Wold風の交差検証にスペッケルドホールアウトを組み合わせており、従来の手法に比べて、高次元、非定常、または重い尾を持つデータにおいて優れた性能を示す。また、イースト細胞周期データセットにおいても、単純で解釈可能なクラスタリングを同定する。

ABSTRACT

Many clustering methods, including k-means, require the user to specify the number of clusters as an input parameter. A variety of methods have been devised to choose the number of clusters automatically, but they often rely on strong modeling assumptions. This paper proposes a data-driven approach to estimate the number of clusters based on a novel form of cross-validation. The proposed method differs from ordinary cross-validation, because clustering is fundamentally an unsupervised learning problem. Simulation and real data analysis results show that the proposed method outperforms existing methods, especially in high-dimensional settings with heterogeneous or heavy-tailed noise. In a yeast cell cycle dataset, the proposed method finds a parsimonious clustering with interpretable gene groupings.

研究の動機と目的

• 教師なし学習におけるクラスタ数kの選択という課題に取り組む。従来の手法は強いモデル仮定に依存している。
• 教師なし設定に適応された新規形式の交差検証を活用したk-meansクラスタリングのモデル選択フレームワークを構築する。
• 従来の手法がしばしば失敗する、非定常または重い尾を持つノイズを伴う高次元データにおける性能を向上させる。
• 内部予測誤差を最小化する交差検証を通じて、自己整合的かつデータに適応する手法を提供する。
• 実世界のデータ、例えばイースト細胞周期データセットにおいて、この手法の有効性を示し、単純で解釈可能なクラスタリングをもたらす。

提案手法

• データ行列のランダムな要素をテスト用に除外する、スペッケルドホールアウトを用いたWold風の交差検証を提案する。
• 各kおよびfoldについて、繰り返し補完手法を用いて欠損値を含む訓練データに対してk-meansを適合する。
• 交差検証誤差を、観測されたテスト値と予測されたクラスタ平均値との二乗差の和として計算する。
• 全foldにわたる交差検証誤差の平均値を算出し、各kにおける性能推定値とする。
• 平均交差検証誤差が最小となるkを最適なクラスタ数として選択する。
• 相関のあるノイズ構造を伴う状況でのロバストネスを向上させるために、相関ノイズに対する補正を導入する。

実験結果

リサーチクエスチョン

• RQ1 教師なしクラスタリング問題（明確な応答変数が存在しない）に、交差検証フレームワークをどのように適応できるか。
• RQ2 提案手法の交差検証法は、高次元または非正規分布のデータにおいて、従来のk選択手法に比べてどのように性能を発揮するか。
• RQ3 相関のあるノイズや重い尾を持つノイズ構造の下でも、この手法は自己整合的かつ安定的か。
• RQ4 この手法は、例えばイーストにおける遺伝子発現のような実世界のオミックスデータにおいて、単純で生物学的に解釈可能なクラスタリングを同定できるか。
• RQ5 相関ノイズに対する補正は、現実的で複雑なデータシナリオにおける手法の性能をどのように向上させるか。

主な発見

• 提案手法は、エルボー法やギャップ統計量といった従来の手法に比べて、特に複雑なノイズ構造を伴う高次元設定で優れた性能を示す。
• シミュレーションでは、ノイズが非定常または重い尾を持つ状況でも、高い正確性を維持するが、従来の手法はしばしば失敗する。
• イースト細胞周期データセットにおいて、5クラスタ解が単純かつ生物学的に解釈可能に同定された。
• 理論的分析により、相関ノイズ下では性能が低下することが示されたが、提案された補正によりロバストネスが回復された。
• この手法は自己整合的であり、シミュレーションおよび実データの両方の実験で、最先端のモデル選択技術と同等の性能を示した。
• 交差検証誤差指標は、モデルの適合度と複雑さのトレードオフを効果的に捉えており、最適なkの選択に寄与した。