[論文レビュー] Comparing Model Selection and Regularization Approaches to Variable Selection in Model-Based Clustering

Gilles Celeux, Marie‐Laure Martin‐Magniette+2 more|arXiv (Cornell University)|Jul 30, 2013

Bayesian Methods and Mixture Models被引用数 29

ひとこと要約

この論文は、モデルベースクラスタリングにおける変数選択のためのモデル選択（RD-MCM）と正則化（SparseKmeans）のアプローチを比較する。シミュレーションと実データを用いた分析から、特にクラスタ内での変数の相関がある状況では、分類精度および変数選択精度においてモデル選択が正則化を著しく上回ることを明らかにした。また、クラスタ数の推定やモデルの柔軟性の面でも優位性を示した。

ABSTRACT

We compare two major approaches to variable selection in clustering: model selection and regularization. Based on previous results, we select the method of Maugis et al. (2009b), which modified the method of Raftery and Dean (2006), as a current state of the art model selection method. We select the method of Witten and Tibshirani (2010) as a current state of the art regularization method. We compared the methods by simulation in terms of their accuracy in both classification and variable selection. In the first simulation experiment all the variables were conditionally independent given cluster membership. We found that variable selection (of either kind) yielded substantial gains in classification accuracy when the clusters were well separated, but few gains when the clusters were close together. We found that the two variable selection methods had comparable classification accuracy, but that the model selection approach had substantially better accuracy in selecting variables. In our second simulation experiment, there were correlations among the variables given the cluster memberships. We found that the model selection approach was substantially more accurate in terms of both classification and variable selection than the regularization approach, and that both gave more accurate classifications than $K$-means without variable selection.

研究の動機と目的

• モデルベースクラスタリングにおける変数選択のためのモデル選択と正則化のアプローチの性能を評価・比較すること。
• 異なるデータ条件下で、どちらの手法—モデル選択か正則化か—がより高いクラスタリングおよび変数選択の正確性を達成するかを特定すること。
• さまざまなシミュレーション設定および実世界のデータセットにおいて、各手法のロバストネスと安定性を評価すること。
• クラスタ内での変数相関が手法の性能に与える影響を検討すること。
• 各手法が正しいクラスタ数を特定する能力および高次元データを効果的に処理する能力を評価すること。

提案手法

• RafteryとDean（2006）の手法を変更したモデル選択アプローチ、RD-MCMを採用。この手法では、不要な変数が関連のある変数と独立になるように設計され、モデルの単純性と現実性が向上する。
• WittenとTibshirani（2010）のSparseKmeans手法を採用。これは、負荷をゼロに近づけることで変数選択を実現する正則化ベースのアプローチである。
• 条件付き独立な変数と、クラスタ所属を前提とした相関のある変数を含むシミュレーテッドデータに両手法を適用。
• 分類精度には調整ランダムインデックス（ARI）を、変数選択精度には真正陽性率を用いて性能を評価。
• ベースラインとして、変数選択を行わないK-meansクラスタリングと比較。
• 実データセット（波形データセットおよび28個の遺伝子を含むトランスクリプトーム遺伝子発現データセット）を用いて結果を検証。ARIとクラスタの安定性を指標とした。

実験結果

リサーチクエスチョン

• RQ1 変数が条件付き独立である場合、モデル選択と正則化のアプローチは分類精度においてどのように比較されるか？
• RQ2 クラスタ内での変数相関が、モデル選択と正則化の両手法のクラスタリング性能に与える影響は何か？
• RQ3 現実的なデータ構造下で、どちらの手法—RD-MCMかSparseKmeansか—が優れた変数選択精度を示すか？
• RQ4 モデル選択アプローチはクラスタ数を信頼性高く推定できるが、正則化アプローチは事前にクラスタ数を入力として必要とする。この点で、両手法の差異は何か？
• RQ5 各手法のクラスタリング結果は、初期化やチューニングパラメータの違いに対してどの程度安定しているか？

主な発見

• 変数が条件付き独立である場合、両方の変数選択手法がK-meansを上回る分類精度を達成した。特にクラスタが明確に分離されている場合には顕著であった。
• モデル選択アプローチ（RD-MCM）は、分類性能が類似しているにもかかわらず、正則化アプローチ（SparseKmeans）よりも顕著に高い変数選択精度を示した。
• クラスタ内に変数相関がある状況では、分類精度および変数選択精度の両面で、モデル選択アプローチが正則化アプローチを著しく上回った。
• 両方の変数選択手法とも、変数選択なしのK-meansよりもより正確な分類を達成したが、モデル選択手法が一貫して優れた性能を示した。
• SparseKmeans手法はチューニングパラメータに非常に敏感であり、異なる実行回数で不安定な結果を示した。
• RD-MCM手法は、より安定したパーティションを生成した。VEEモデルにおけるARI（0.578）は、SparseKmeansとK-means間のARI（0.349）よりも高いことから、その妥当性が裏付けられた。