[論文レビュー] An Experimental Comparison of Several Clustering and Initialization Methods

Marina Meilă, David Heckerman|arXiv (Cornell University)|Jan 30, 2013

Bayesian Methods and Mixture Models参考文献 10被引用数 103

ひとこと要約

この論文は、隠れルートノードを備えたナイーブベイズモデルを用いて、高次元離散データに対するクラスタリングアルゴリズムおよび初期化手法を実験的に比較している。EMアルゴリズムは、K-meansに類似した手法や階層的凝集型クラスタリングを著しく上回り、無情報的事前分布、摂動された周辺分布、凝集型クラスタリングといった異なるアプローチを採用した初期化手法が、同程度の高い品質の結果をもたらす。

ABSTRACT

We examine methods for clustering in high dimensions. In the first part of the paper, we perform an experimental comparison between three batch clustering algorithms: the Expectation-Maximization (EM) algorithm, a winner take all version of the EM algorithm reminiscent of the K-means algorithm, and model-based hierarchical agglomerative clustering. We learn naive-Bayes models with a hidden root node, using high-dimensional discrete-variable data sets (both real and synthetic). We find that the EM algorithm significantly outperforms the other methods, and proceed to investigate the effect of various initialization schemes on the final solution produced by the EM algorithm. The initializations that we consider are (1) parameters sampled from an uninformative prior, (2) random perturbations of the marginal distribution of the data, and (3) the output of hierarchical agglomerative clustering. Although the methods are substantially different, they lead to learned models that are strikingly similar in quality.

研究の動機と目的

• 高次元離散データに対して、バッチクラスタリングアルゴリズム（EM、ウィナーテイクアラウンドEM、モデルベースの階層的凝集型クラスタリング）の性能を評価すること。
• EMアルゴリズムの最終的なクラスタリング品質に与える異なる初期化戦略の影響を調査すること。
• 多様な初期化手法が、高次元設定下で同様のモデル性能をもたらすかどうかを特定すること。
• EMのロバストネスと他のクラスタリング手法との比較における有効性を評価すること。

提案手法

• 本研究では、実データおよび合成データの両方を対象として、高次元離散変数データセットをモデル化するため、隠れルートノードを備えたナイーブベイズモデルを採用している。
• 3つのクラスタリングアルゴリズムを評価している：標準EM、K-meansに類似したウィナーテイクアラウンドEMの変種、モデルベースの階層的凝集型クラスタリング。
• EMの初期化手法として3種類をテストしている：無情報的事前分布からのサンプリング、データの周辺分布へのランダムな摂動、階層的凝集型クラスタリングの出力を用いた初期化。
• 複数の高次元離散データセットを用いた実験的比較により、モデルの適合度と安定性を指標としてクラスタリング品質を評価している。
• EMアルゴリズムは、潜在的な混合モデルのパラメータを学習するために、期待値最大化手続きを繰り返し最適化している。
• 階層的凝集型クラスタリングは、連結基準を用いて段階的にクラスタを構築する手法として、単独での適用およびEMの初期化ソースとして併用している。

実験結果

リサーチクエスチョン

• RQ1 EM、ウィナーテイクアラウンドEM、および階層的凝集型クラスタリングは、高次元離散データにおいてどのように性能を発揮するか？
• RQ2 EMアルゴリズムの最終的なクラスタリング解に、初期化の選択が顕著に影響を与えるか？
• RQ3 無情報的事前分布、摂動された周辺分布、凝集型クラスタリングといった異なる初期化手法は、EMが高品質な解に到達するのを同程度に効果的に導くか？
• RQ4 EMと階層的凝集型クラスタリングのクラスタリング結果は、さまざまなデータセットにおいてどの程度品質が一致するか？

主な発見

• EMアルゴリズムは、高次元離散データにおけるクラスタリング品質の観点で、ウィナーテイクアラウンドEMの変種および階層的凝集型クラスタリングを著しく上回っている。
• 概念的に異なるにもかかわらず、3つの初期化手法（無情報的事前分布、摂動された周辺分布、凝集型クラスタリング）が、EM解において驚くほど類似した品質をもたらしている。
• データの周辺分布へのランダムな摂動は、シンプルでありながらも効果的な初期化戦略であり、競争力のある結果をもたらす。
• 階層的凝集型クラスタリングをEMの初期化に用いることで、他の初期化手法と同等の性能が得られる。
• 本研究では、EMが高次元離散データに適用される際、初期化に強く、異なる初期点からでも解の品質が著しく低下しないことが示された。