[論文レビュー] Consistency, breakdown robustness, and algorithms for robust improper maximum likelihood clustering

Pietro Coretto, Christian Hennig|arXiv (Cornell University)|Sep 26, 2013

Bayesian Methods and Mixture Models参考文献 46被引用数 6

ひとこと要約

本稿では、外れ値やノイズをモデル化するための不適切な定数密度成分を導入することで、多変量クラスタリングにおける頑健性を向上させるロバスト不適切最大尤度推定器（RIMLE）を提案する。RIMLEの理論的基盤を確立し、存在性、一致性、破綻頑健性を証明するとともに、計算的に実行可能なECMアルゴリズムを提案し、シミュレーション研究において、特に混合状態やモデル不適合の下で既存手法を凌駕することを示した。

ABSTRACT

The robust improper maximum likelihood estimator (RIMLE) is a new method for robust multivariate clustering finding approximately Gaussian clusters. It maximizes a pseudo-likelihood defined by adding a component with improper constant density for accommodating outliers to a Gaussian mixture. A special case of the RIMLE is MLE for multivariate finite Gaussian mixture models. In this paper we treat existence, consistency, and breakdown theory for the RIMLE comprehensively. RIMLE's existence is proved under non-smooth covariance matrix constraints. It is shown that these can be implemented via a computationally feasible Expectation-Conditional Maximization algorithm.

研究の動機と目的

• 多変量ガウス・ミックスチャネル・モデルにおける最尤推定の理論的保証の欠如、特にモデル不適合や混合状態下での課題に対処する。
• ノイズの特定のパラメトリックな形を仮定せずに、外れ値や非ガウス分布の観測値を扱える頑健なクラスタリング手法を開発する。
• 滑らかでない共分散行列の制約下でも、RIMLEの存在性、一貫性、破綻頑健性を確立する。
• 共分散行列の非滑らか制約下でRIMLEの目的関数を最適化可能な計算的に実行可能な期待値-条件付き最大化（ECM）アルゴリズムを提案する。
• シミュレーションにより、RIMLEがMCLUST、TCLUST、OTRIMLEの変種といった最先端手法と比較して、特に混合状態や高次元ノイズ下で優れた誤分類率を達成することを示す。

提案手法

• RIMLEは、多変量ガウス成分と不適切な定数密度成分の混合としてデータをモデル化し、外れ値や低密度観測値を捉える。
• 不適切な成分は、標本空間全体で一定の非正規化可能な密度（定数）を用い、ノイズのパラメトリックな分布を事前に指定する必要を回避する。
• 共分散行列の固有値に制約を課すことにより、RIMLEの存在性が証明され、尤度関数の退化を防ぐ。
• 反復的に成分パラメータを更新するための新規な期待値-条件付き最大化（ECM）アルゴリズムを開発し、条件付き最大化ステップにより収束を保証する。
• 共分散行列に固有値比制約（γを介して）を課し、クラスタの形状を制御し、過剰適合を防ぐ。γは最小固有値と最大固有値の比を制御する。
• データ適応型基準（OTRIMLE）を用いて最適なノイズ成分密度レベルを選択し、混合率の事前知識が不要な状態で頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多変量ガウス・ミックスチャネル・モデルに不適切なノイズ成分を含む場合、RIMLE推定量はどのような条件下で存在するか？
• RQ2 標準MLEや他の頑健クラスタリング手法と比較して、RIMLEは一貫性および破綻頑健性においてどのように性能を発揮するか？
• RQ3 共分散行列の非滑らか制約下で、RIMLEの目的関数を最適化可能な計算的に効率的なアルゴリズムを設計できるか？
• RQ4 RIMLEの性能は、固有値比制約パラメータγの選択にどれほど敏感であり、実用的な場面で頑健なデフォルト値は何か？
• RQ5 混合状態やモデル不適合下で、TCLUST や MCLUST と比較して、RIMLE は誤分類誤差において優れた性能を示すか？

主な発見

• RIMLE推定量は、特異共分散行列によって尤度関数が不適切になる場合でさえ、弱い正則性条件のもとで存在することが証明された。
• RIMLEは一般条件下で一貫性を示し、真のデータ生成過程が有限ガウス・ミックスチャネルでない場合でも、モデル不適合に対して頑健である。
• 特に高次元または混合状態下では、一様分布やスルツィング分布を仮定する従来の混合モデルと比較して、RIMLEは優れた破綻頑健性を示した。
• 提案されたECMアルゴリズムは収束性と安定性を保証しており、第2版（ECM2）は先行研究の近似AEM手法と比較して、シミュレーション研究で顕著に優れた性能を示した。
• AsyNoiseおよびGEMのシミュレーション設計において、OtrimleECMは最も安定的かつ最小の誤分類率を達成し、中央値がそれぞれ3.5％および1.2％未満に抑えられ、ほとんどの状況でMCLUSTおよびTCLUSTOracleを上回った。
• γの値として100は、混合率やデータ構造が異なる状況でも性能が安定するため、頑健で実用的なデフォルト選択肢であることが示された。特に、GEMでは真のγがはるかに高い（例：γ > 3000）状況でも同様に安定した性能を示した。