[論文レビュー] Outlier Detection via Parsimonious Mixtures of Contaminated Gaussian Distributions

Antonio Punzo, Paul D. McNicholas|arXiv (Cornell University)|May 20, 2013

Bayesian Methods and Mixture Models被引用数 10

ひとこと要約

本稿では、外れ値検出およびクラスタリングのための、混合正規分布に基づく簡潔な有限混合モデルを提案する。クラスタ固有の外れ値割合と汚染度をデータから推定可能であるようにすることで、古典的正規混合モデルに比べてより高いロバストネスと柔軟性を実現し、理論的同定可能性とパラメータ推定のためのECMEアルゴリズムを備える。

ABSTRACT

A mixture of multivariate contaminated normal distributions is developed for model-based clustering. In addition to the parameters of the classical normal mixture, our contaminated mixture has, for each cluster, a parameter controlling the proportion of mild outliers and one specifying the degree of contamination. Crucially, these parameters do not have to be specified a priori, adding a flexibility to our approach. Parsimony is introduced via eigen-decomposition of the component covariance matrices, and sufficient conditions for the identifiability of all the members of the resulting family are provided. An expectation-conditional maximization algorithm is outlined for parameter estimation and various implementation issues are discussed. Using a large scale simulation study, the behaviour of the proposed approach is investigated and comparison with well-established finite mixtures is provided. The performance of this novel family of models is also illustrated on artificial and real data.

研究の動機と目的

• 多変量データにおける軽度の外れ値を明示的に扱うモデルベースのクラスタリング手法の開発。
• クラスタごとの外れ値の割合と汚染度を事前に任意に指定せず、データから推定可能にする。
• 成分パラメータに関する十分条件を用いて、モデルの同定可能性を保証する。
• 共分散行列の固有値分解を用いたパラメータの簡潔さを導入し、過剰適合を低減し、解釈性を向上させる。
• シミュレーションおよび実データを用いた、古典的有限混合モデルとの性能比較。

提案手法

• 各クラスタを、中心となる正規成分と、より重い尾を持つ汚染成分からなる混合正規分布としてモデル化する。
• クラスタ固有の2つのパラメータを導入する：汚染の割合（外れ値）と汚染分布のスケール。
• 成分共分散行列の固有値分解を適用し、クラスタの形状と方向を制約することで、簡潔さを実現する。
• 得られる分布族のすべてのメンバーの同定可能性に関する十分条件を導出する。
• 効率的な計算ステップを備えた期待-条件付き最大化（ECME）アルゴリズムを実装し、パラメータ推定を実行する。
• 初期化、収束モニタリング、情報量基準を用いたモデル選択といった実装上の課題に対処する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動的な外れ値パラメータを有する有限混合モデルは、古典的正規混合モデルに比べ、軽度の外れ値が存在する状況でもクラスタリング性能を向上させることができるか？
• RQ2 汚染パラメータの導入が、モデルの同定可能性およびパラメータ推定の安定性に与える影響は何か？
• RQ3 固有値分解に基づく簡潔さは、高次元設定におけるモデル効率性と過剰適合の防止にどの程度寄与するか？
• RQ4 提案手法は、汚染度が異なる人工的および実世界のデータセットにおいて、どの程度の性能を示すか？
• RQ5 汚染度の事前指定なしに外れ値を検出・対処できる点において、汚染混合モデルの相対的利点は何か？

主な発見

• 提案手法は、特に汚染度が高い状況において、古典的有限混合正規分布モデルに比べて外れ値に対してより高いロバストネスを示す。
• データ駆動的な汚染パラメータの導入により、より正確なクラスタ割り当てと真の潜在構造の推定が可能になる。
• 同定可能性に関する十分条件が確立され、異なるパラメータ値が異なる混合密度を生じることを保証する。
• ECMEアルゴリズムは、シミュレーション設定のすべてで信頼性高くかつ効率的に収束し、実用的実装を支援する。
• 固有値分解による簡潔さは、過剰適合を低減し、特に高次元データにおいてモデル選択性能を向上させる。
• 人工的および実データに対する実験結果から、モデルが外れ値を検出し、適切に処理しながらも正確なクラスタリングを維持できることを確認した。