[論文レビュー] Identifying the number of clusters in discrete mixture models

Cláudia Marisa Vasconcelos Silvestre, Margarida G. M. S. Cardoso+1 more|arXiv (Cornell University)|Sep 25, 2014

Bayesian Methods and Mixture Models参考文献 39被引用数 8

ひとこと要約

本稿では、離散的混合モデルにおけるカテゴリカルデータのためのパラメータ推定とクラスタ数の選択を同時に実行するEM-MMLアルゴリズムを提案する。最小メッセージ長（MML）基準を用いることで、従来の情報量基準（BICなど）に比べ、計算が高速で、より簡潔な解が得られ、過剰適合のリスクが低く、合成データおよびヨーロッパ社会調査の実データにおいて優れた性能を示す。

ABSTRACT

Research on cluster analysis for categorical data continues to develop, with new clustering algorithms being proposed. However, in this context, the determination of the number of clusters is rarely addressed. In this paper, we propose a new approach in which clustering of categorical data and the estimation of the number of clusters is carried out simultaneously. Assuming that the data originate from a finite mixture of multinomial distributions, we develop a method to select the number of mixture components based on a minimum message length (MML) criterion and implement a new expectation-maximization (EM) algorithm to estimate all the model parameters. The proposed EM-MML approach, rather than selecting one among a set of pre-estimated candidate models (which requires running EM several times), seamlessly integrates estimation and model selection in a single algorithm. The performance of the proposed approach is compared with other well-known criteria (such as the Bayesian information criterion-BIC), resorting to synthetic data and to two real applications from the European Social Survey. The EM-MML computation time is a clear advantage of the proposed method. Also, the real data solutions are much more parsimonious than the solutions provided by competing methods, which reduces the risk of model order overestimation and increases interpretability.

研究の動機と目的

• 有限混合モデルにおけるカテゴリカルデータのクラスタ数を決定する統合的手法の不足に応えること。
• モデル推定とモデル選択を統合した一貫したアプローチを開発し、候補モデルに対して繰り返しEMを実行するのを回避すること。
• より簡潔なクラスタリング解を生み出すことで、解釈性を向上させ、過学習を低減すること。
• 合成データおよび実世界の応用、特にヨーロッパ社会調査からのデータを用いて性能を評価すること。
• 真のクラスタ構造を回復する際の計算効率と頑健性を示すこと。

提案手法

• カテゴリカルデータをモデル化するために、有限混合の多項分布を用い、各クラスタが別個の多項分布成分に対応すると仮定する。
• モデル選択基準として、モデルの適合度と複雑さのバランスを取るため、最小メッセージ長（MML）基準を採用する。
• クラスタ数を事前に指定せずに、反復的推定プロセス内にMMLに基づく成分選択を統合した新しいEMアルゴリズムを開発する。
• EM-MMLアルゴリズムを実装し、混合成分のパラメータと最適なクラスタ数を同時に推定する。
• 離散的混合モデルにMML基準を適応させ、データを効率的に圧縮するが、過剰適合をペナルティ化するモデルを優遇する。
• 実データ応用においてクラスタの明確さを評価するために、分離度指標（例：Π^k）を用いる。

実験結果

リサーチクエスチョン

• RQ1 EM-MMLアルゴリズムは、分離度が異なるさまざまな合成カテゴリカルデータにおいて、真のクラスタ数を正確に同定できるか？
• RQ2 計算効率と解の簡潔さの観点から、EM-MMLアプローチはBICや他の情報量基準と比べてどのように差をつけるか？
• RQ3 実世界のカテゴリカルデータにおいて、EM-MML手法は解釈性が高く、過剰適合の少ないクラスタリング解を生み出すか？
• RQ4 EM-MML手法は、非常に小さいまたは不安定なクラスタを推定するリスクをどの程度低減するか？
• RQ5 EM-MMLアプローチは、ヨーロッパ社会調査からの実際の調査データにおいて、意味のあるセグメントを効果的に同定できるか？

主な発見

• EM-MMLは、複数回のEM実行を要するBICベースの手法と比べ、著しく高速な計算時間を達成した。
• 合成データにおいて、EM-MMLはさまざまな分離レベルで真のクラスタ数を的確に回復し、頑健性を示した。
• 実データ応用では、BIC、AIC、その他の基準が13～18セグメントを選択したのに対し、EM-MMLは「満足度」変数に対してわずか7セグメントを選択した。これはより簡潔な解であることを示している。
• EM-MML解のCramerのV係数（2.40）は、他の基準の2.18～2.29よりも高く、より優れた判別能力と解釈性を示している。
• 「信頼」データではEM-MML解の分離度指標が1.46、「満足度」データでは1.26であり、クラスタが明確に分離されていることを確認した。
• EM-MML解は、クラスタごとの平均観測数を増やすことで、小規模クラスタに起因する推定問題を軽減した。