[論文レビュー] Model Selection for Gaussian Mixture Models

Tao Huang, Heng Peng+1 more|arXiv (Cornell University)|Jan 16, 2013

Bayesian Methods and Mixture Models参考文献 23被引用数 26

ひとこと要約

本稿では、混合重みの対数を罰則化することで、多変量正規有限混合モデルにおけるコンポonent数の選択を可能にするペナルティ付き尤度法を提案する。この手法は、修正されたEMアルゴリズムを用いて同時にパラメータ推定と最適なコンポonent数の特定を実行し、統計的整合性を達成するとともに、過学習や過小適合を回避する。

ABSTRACT

This paper is concerned with an important issue in finite mixture modelling, the selection of the number of mixing components. We propose a new penalized likelihood method for model selection of finite multivariate Gaussian mixture models. The proposed method is shown to be statistically consistent in determining of the number of components. A modified EM algorithm is developed to simultaneously select the number of components and to estimate the mixing weights, i.e. the mixing probabilities, and unknown parameters of Gaussian distributions. Simulations and a real data analysis are presented to illustrate the performance of the proposed method.

研究の動機と目的

• 有限多変量正規混合モデルにおける正しいコンポonent数の選択という、統計的モデリングおよび機械学習分野の核心的課題に取り組む。
• AIC、BIC、SCAD罰則など既存手法の限界を克服する。これらの手法は、混合重みをゼロに収縮させないか、一変量または位置スケール混合モデルに限定される。
• 同じまたはほぼ同一のパラメータを持つコンポonentが存在する場合でも、統計的整合性を保証するコンポonent数選択手法を開発する。
• 高い計算コストを伴う完全なモデル探索アルゴリズムの代替として、計算効率の良い手法を提供する。
• 統一された最適化枠組み内で、混合重み、コンポonentパラメータ、およびコンポonent数の同時推定を可能にする。

提案手法

• 混合重みそのものではなく、その対数を罰則化するペナルティ付き尤度関数を提案し、より強いゼロへの収縮を保証する。
• 修正されたEMアルゴリズムを用い、反復的にコンポonentパラメータ、混合重み、およびコンポonent数を更新する。この際、log(π_m + ε)に基づく罰則関数を適用してコンポonentの削除を促進する。
• オラクル性を達成するため、罰則パラメータλ* = √(log n / n)を導入し、ペナルティ付き推定量が高確率で真のMLEに収束することを保証する。
• 異なるコンポonent数を持つモデルを比較するため、BICタイプの基準を適用し、ペナルティ付き対数尤度をモデル選択の根拠とする。
• コンポonentが削除された際の目的関数の連続性を保証し、ディリクレ事前分布に基づくベイズ的手法に内在する不連続性を回避する。
• Keribin (2000)およびDacunha-Castelle (1999)の理論的結果を活用し、過小適合および過適合の両状況下での漸近的整合性を確立する。

実験結果

リサーチクエスチョン

• RQ1 対数変換された混合重みに基づくペナルティ付き尤度法は、多変量正規混合モデルにおいて真のコンポonent数を統計的に整合的に選択できるか？
• RQ2 本手法は、AIC や BIC といった従来の基準と比較して、整合性および計算効率の点で優れているか？
• RQ3 混合重みの対数を罰則化することは、標準的なLpまたはSCAD罰則と比較して、不要なコンポonentの収縮をより効果的に実現するか？
• RQ4 真のコンポonentが同一の場所パラメータを持つ場合、既存手法がしばしば混乱をきたす状況でも本手法は対応可能か？
• RQ5 修正されたEMアルゴリズムは、理論的整合性保証のもとで、パラメータ推定とコンポonent数の選択を同時に実行できるか？

主な発見

• 提案手法は、多変量正規混合モデルにおける真のコンポonent数選択において統計的整合性を達成する。
• 標本サイズが増加するにつれて、誤ったコンポonent数が選択される確率はゼロに近づき、過小適合および過適合の両状況が制御される。
• log(π_m + ε)を罰則化することで、標準的なLpまたはSCAD罰則と比較して、混合重みのゼロへの強い収縮が実現され、不要なコンポonentの効果的な削除が可能になる。
• 修正されたEMアルゴリズムは、コンポonent数選択をパラメータ推定プロセスに統合し、網羅的モデル探索の必要性を回避する。
• 理論的分析により、λ* = √(log n / n)のとき、推定量がオラクル性を有することが確認され、ペナルティ付き推定量が確率1に近づいて真のMLEに収束することが保証される。
• シミュレーションおよび実データ解析により、重なりや同一パラメータを持つコンポonentが存在する状況でも、従来手法に比べて本手法のコンポonent数選択性能が優れていることが示された。