[論文レビュー] Variable selection for mixed data clustering: a model-based approach

Matthieu Marbac, Mohammed Sedki|arXiv (Cornell University)|Mar 7, 2017

Bayesian Methods and Mixture Models参考文献 36被引用数 6

ひとこと要約

本稿では、混合データのクラスタリングにおける変数選択のための2つのモデルベースの手法を提案する。1つは修正されたEMアルゴリズムを用いて、成分内独立性の下でベイジアン情報量基準（BIC）を最適化するものであり、もう1つは交互最適化により最大統合完全データ尤度（MICL）を最大化するものである。両手法とも、モデル比較のための計算コストの高い最尤推定を回避し、標準的な段階的選択法を上回る性能を示す。特に、MICLは漸近的近似を用いない正確な定式化であるため、小標本データセットにおいて優れた性能を発揮する。

ABSTRACT

We propose two approaches for selecting variables in latent class analysis (i.e.,mixture model assuming within component independence), which is the common model-based clustering method for mixed data. The first approach consists in optimizing the BIC with a modified version of the EM algorithm. This approach simultaneously performs both model selection and parameter inference. The second approach consists in maximizing the MICL, which considers the clustering task, with an algorithm of alternate optimization. This approach performs model selection without requiring the maximum likelihood estimates for model comparison, then parameter inference is done for the unique selected model. Thus, the benefits of both approaches is to avoid the computation of the maximum likelihood estimates for each model comparison. Moreover, they also avoid the use of the standard algorithms for variable selection which are often suboptimal (e.g. stepwise method) and computationally expensive. The case of data with missing values is also discussed. The interest of both proposed criteria is shown on simulated and real data.

研究の動機と目的

• 混合データのモデルベースクラスタリングにおける関連変数の選択という課題に取り組む。ここでは、不適切または冗長な変数がモデルの精度と解釈可能性を損なうためである。
• 各モデル比較における最尤推定を繰り返し行う高コストな手法を回避する、効率的な変数選択手法の開発を目的とする。
• 混合型データにおける明確なクラスタを特徴付ける変数のサブセットを同定することで、クラスタリングの性能と解釈可能性を向上させる。
• 欠損値を含むデータセットに対しても対応可能であり、現実の応用において一般的に見られるデータの不完全性に対しても頑健性を確保する。
• 情報基準（BIC）とクラスタリング指向の基準（MICL）の変数選択性能を比較する。特に、小標本サイズ下での性能に注目する。

提案手法

• 最初の手法は、EMアルゴリズムを修正し、成分内独立性の下でペナルティ付き尤度（具体的にはBIC）を最大化することで、モデル選択とパrameter推定を同時に最適化する。
• 2番目の手法は、交互最適化を用いてMICL基準を最大化する。この基準はモデル適合度と成分エントロピーのバランスを取ることで、モデル比較に最尤推定を要せず、効率的な変数選択を可能にする。
• 両手法とも、成分内独立性を仮定しており、パrameter数を削減し、混合データ（連続変数、カテゴリカル変数、整数変数）の尤度計算を簡略化する。
• MICL基準は共役事前分布の下で導出されており、漸近的近似を用いない閉形式解が得られる。これにより、小標本に対してより正確な結果が得られ、小標本下での信頼性が向上する。
• 欠損データに対応するため、欠損データ機構を尤度フレームワークに統合し、モデルの一貫性を保つように拡張した。
• モデル選択は、標準的なグリーディーサーチや段階的探索手法と比較して、著しく計算負荷を低減する、包括的な最尤推定を実施せずに実行される。

実験結果

リサーチクエスチョン

• RQ1 混合データクラスタリングにおけるモデルベースの変数選択手法は、従来の段階的手法と比較して、精度と計算効率の両面で優れていると言えるか？
• RQ2 MICL基準を最大化することで、BICよりも優れたクラスタリング性能が得られるか。特に、BICの漸近的近似が失敗する可能性がある小標本サイズ下でその有効性を確認する。
• RQ3 欠損値を含む実際の混合型データセットに適用した場合、変数選択がクラスタリング結果の解釈可能性と精度にどのように影響を与えるか？
• RQ4 提案手法は、高次元で標本数が少ないデータセットにおいて、真の成分数と関連変数を効果的に特定できるか？
• RQ5 成分内独立性の仮定が、誤ったモデル指定や複雑なデータ構造に対して、変数選択手法の頑健性と性能にどの程度影響を与えるか？

主な発見

• MICLに基づく手法は、コーヒーのデータセットで全変数の42％のみを用いても調整ランダ指数（ARI）が100％に達し、変数選択の高い効率性と正確性を示した。
• 83件の観察、3051個の変数を有する挑戦的なGolubデータセットでは、BICは漸近的近似のため性能が劣化したが、MICLは正しく2つの成分を特定し、ARIが0.79を達成。BICの0.32を上回った。
• CongressおよびStatlog-Heartのようなデータセットでは、MICL選択によりARIがCongressで0.47から0.47、Statlog-Heartで0.25から0.33に上昇し、クラスタリング品質の一貫した向上を示した。
• 小標本サイズ下の状況において、MICL手法はBICを常に上回り、漸近的近似を用いない正確な基準がこのような条件下でより信頼性が高いことを確認した。
• 変数選択により解釈可能性が向上した。例えば、CongressデータセットではMICL下で16個の変数のうちたった2つのみが選択され、クラスタの特徴付けが簡素化された。
• 提案された両手法とも、モデル比較の過程で繰り返し最尤推定を実行する必要がなく、標準的なグリーディーや段階的アルゴリズムと比較して著しく計算コストを削減した。