[論文レビュー] Robust Clustering via Parsimonious Mixtures of Contaminated Gaussian Distributions

Antonio Punzo, Paul D. McNicholas|arXiv (Cornell University)|May 20, 2013

Bayesian Methods and Mixture Models被引用数 3

ひとこと要約

本稿では、外れ値の程度をクラスタ固有の汚染パラメータとして明示的にモデル化する、洗練された混合正規分布を用いたロバストなモデルベースクラスタリング手法を提案する。外れ値の割合や度合いを事前に指定する必要がなく、クラスタ固有の汚染パラメータを用いて軽度の外れ値を明示的に扱う。この手法は、共分散のスパarsityを実現する固有値分解と、期待-条件付き最大化（ECM）アルゴリズムを組み合わせており、シミュレーションおよび実データにおいて、古典的な有限混合モデルよりも優れた性能を示す。特に外れ値が存在する状況下で顕著な優位性を示す。

ABSTRACT

A mixture of multivariate contaminated normal distributions is developed for model-based clustering. In addition to the parameters of the classical normal mixture, our contaminated mixture has, for each cluster, a parameter controlling the proportion of mild outliers and one specifying the degree of contamination. Crucially, these parameters do not have to be specified a priori, adding a flexibility to our approach. Parsimony is introduced via eigen-decomposition of the component covariance matrices, and sufficient conditions for the identifiability of all the members of the resulting family are provided. An expectation-conditional maximization algorithm is outlined for parameter estimation and various implementation issues are discussed. Using a large scale simulation study, the behaviour of the proposed approach is investigated and comparison with well-established finite mixtures is provided. The performance of this novel family of models is also illustrated on artificial and real data.

研究の動機と目的

• 多変量データにおける軽度の外れ値を明示的に取り入れた、柔軟なモデルベースクラスタリングフレームワークの構築を目的とする。
• 汚染パラメータ（外れ値の割合および度合い）を事前に指定するのではなく、データから推定できるようにすることを目的とする。
• 汚染正規分布混合族の識別性を保証する十分条件を確立することを目的とする。
• 成分共分散行列の固有値分解と汚染モデルを組み合わせることで、ロバスト性とスパarsityを向上させることを目的とする。
• シミュレーションおよび実世界データを用いて、古典的な有限混合モデルとの性能比較を実施することを目的とする。

提案手法

• 各クラスタを、外れ値の割合と汚染度合いを別々にパラメータ化した多変量汚染正規分布でモデル化する。
• 成分共分散行列の固有値分解を適用し、スパarsityを実現するとともに過剰適合を抑制する。
• 反復的パラメータ推定のための期待-条件付き最大化（ECM）アルゴリズムを開発する。
• 混合族のすべての成分の識別性を保証する十分条件を導出する。これにより、モデルの安定性が確保される。
• 汚染パラメータをモデル適合中に推定可能となる柔軟なパラメータ化を導入する。
• 高次元設定における収束性や数値的安定性といった実装上の課題に対処する。

実験結果

リサーチクエスチョン

• RQ1 外れ値のレベルに関する事前知識が得られない状況下で、モデルベースクラスタリングをどのようにして軽度の外れ値に対してよりロバストにできるか？
• RQ2 スパarsityを備えた共分散構造を持つ汚染正規分布混合において、どのような条件下で識別性が保証されるか？
• RQ3 外れ値が存在する状況下で、提案手法は古典的な有限正規混合モデルと比べて、クラスタリング精度においてどの程度優れているか？
• RQ4 固有値分解に基づくスパarsityは、モデルの性能と解釈可能性をどの程度向上させるか？
• RQ5 提案手法は、実世界のクラスタリング状況において、外れ値パラメータを信頼性高くデータから推定できるか？

主な発見

• 外れ値が存在するデータにおいて、提案手法は古典的な有限正規混合モデルよりも顕著に高いクラスタリング精度を達成する。
• 推定可能な汚染パラメータの導入により、外れ値レベルの事前指定が不要な状態でロバスト性が向上する。
• 識別性を保証する十分条件が確立され、やや緩い正則性条件のもとでモデルパラメータが一意に推定可能であることが保証される。
• 固有値分解アプローチにより、モデルの複雑さが効果的に低減されつつ、クラスタリング性能が維持される。
• シミュレーション研究により、さまざまな汚染状況下で一貫したクラスタリング品質の向上が確認された。
• 人工データおよび実データの両方で優れた性能を示し、実用的有用性が裏付けられた。