[論文レビュー] Hypothesis Testing for Parsimonious Gaussian Mixture Models

Antonio Punzo, Ryan P. Browne+1 more|arXiv (Cornell University)|May 2, 2014

Bayesian Methods and Mixture Models参考文献 38被引用数 4

ひとこと要約

本稿では、ガウス型簡便混合モデル（GPCM）族における最適モデル選択のため、パラメトリックブートストラップを用いた尤度比検定を提案する。これは、8つの分散共変動構造を持つ混合モデルにおけるモデル選択の課題に応えるものである。すべてのモデルを同時に評価するための閉じた仮説検定手順を導入し、従来の情報基準に代わる一貫性があり、有意水準に基づく解釈可能な調整p値を提供する統合的アプローチを実現する。

ABSTRACT

Gaussian mixture models with eigen-decomposed covariance structures make up the most popular family of mixture models for clustering and classification, i.e., the Gaussian parsimonious clustering models (GPCM). Although the GPCM family has been used for almost 20 years, selecting the best member of the family in a given situation remains a troublesome problem. Likelihood ratio tests are developed to tackle this problems. These likelihood ratio tests use the heteroscedastic model under the alternative hypothesis but provide much more flexibility and real-world applicability than previous approaches that compare the homoscedastic Gaussian mixture versus the heteroscedastic one. Along the way, a novel maximum likelihood estimation procedure is developed for two members of the GPCM family. Simulations show that the $χ^2$ reference distribution gives reasonable approximation for the LR statistics only when the sample size is considerable and when the mixture components are well separated; accordingly, following Lo (2008), a parametric bootstrap is adopted. Furthermore, by generalizing the idea of Greselin and Punzo (2013) to the clustering context, a closed testing procedure, having the defined likelihood ratio tests as local tests, is introduced to assess a unique model in the general family. The advantages of this likelihood ratio testing procedure are illustrated via an application to the well-known Iris data set.

研究の動機と目的

• ガウス型簡便クラスタリングモデル（GPCM）族に属する8つの分散構造混合モデルの中から最適なモデルを選択するという長年の課題に取り組む。
• 従来の手法が単に等分散性対非等分散性モデルの比較に限られていること、特に多次元設定においてその限界を克服する。
• 漸近的近似が失敗する状況でも信頼性のある推論を提供する、強固な統計的仮説検定フレームワークを構築する。
• 尤度比検定に基づく閉じた仮説検定手順を導入し、一般GPCM族に属するすべてのモデルを同時に評価する。これにより、一貫性があり解釈可能なモデル選択プロセスを提供する。
• 恣意的な情報基準に依存しない、実用的で計算的に実行可能なモデル選択手法を提供する。

提案手法

• すべてのGPCMモデルを非等分散基準モデルと比較する尤度比（LR）検定を考案し、一般族に属する8つのメンバーに対して多次元的比較を可能にする。
• E. CeleuxとG. Govaertの元来の枠組みを拡張し、2つのGPCMモデル（EEEおよびVVV）に対して固有値の順序制約を課した新しい最尤推定手順を提案する。
• サンプルサイズが小さい、または成分が重複する場合にカイ二乗分布が信頼性の低いため、LR検定統計量の標本分布を近似するためにパラメトリックブートストラップを用いる。
• GreselinとPunzo（2013）に従い、LR検定を局所検定として用い、家族全体の有意水準を制御する閉じた仮説検定手順を実装し、一般族におけるグローバル最良モデルを評価する。
• 実データに本手法を適用し、アイrisデータセットを用いてモデル選択の性能と解釈可能性を示す。
• 閉じた仮説検定手順から得られる調整p値を用い、固有値分解における各成分（体積、形状、方向）の寄与度を定量化することで、モデルの解釈性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 尤度比検定は、等分散性対非等分散性の比較を超えて、多次元ガウス型簡便混合モデルへどのように効果的に拡張可能か？
• RQ2 GPCMモデルにおいて、重複する成分を伴う有限標本におけるLR検定統計量のカイ二乗近似の性能はいかがなものか？
• RQ3 LR検定に基づく閉じた仮説検定手順は、8つのすべてのGPCMモデルに対して一貫性があり、同時にモデル選択を可能にするフレームワークを提供できるか？
• RQ4 本手法は、AICやBICなどの従来の情報基準と比較して、モデル選択の一貫性と解釈性においてどのように優れているか？
• RQ5 閉じた仮説検定から得られる調整p値は、最適GPCMモデルにおける体積、形状、方向の役割をどの程度まで明確に示せるか？

主な発見

• 小標本または混合成分が著しく重複する場合、カイ二乗分布はLR検定統計量の近似として不適切であり、Lo（2008）の単変量ケースにおける結果を裏付ける。
• パラメトリックブートストラップ法は、非漸近的条件下でもLR検定統計量の標本分布を信頼性高く近似する代替手段を提供する。
• 閉じた仮説検定手順により、8つのすべてのGPCMモデルを同時に評価でき、単一の有意水準αに基づく一貫性があり解釈可能なモデル選択フレームワークを提供する。
• アイrisデータセットにおいて、閉じた仮説検定手順はVVVモデル（一般化された分散、変化する形状、変化する方向）を最適モデルとして選択した。調整p値は、形状と方向の寄与が有意であることを示した。
• 恣意的な情報基準に依存するのを減らし、モデル選択の整合性を高める。代わりに、明確な解釈性を持つ、仮説検定に基づく原理的で整合性のあるアプローチを提供する。
• 閉じた検定から得られる調整p値は、各固有値分解成分（体積、形状、方向）の有意性を測る指標を提供し、モデル適合度以上の解釈性を向上させる。