[論文レビュー] Robust High-Dimensional Modeling with the Contaminated Gaussian Distribution

Antonio Punzo, Paul D. McNicholas|arXiv (Cornell University)|Aug 9, 2014

Bayesian Methods and Mixture Models参考文献 63被引用数 5

ひとこと要約

本稿では、汚染ガウス分布を用いた頑健な高次元要因分析および混合モデルを提案する。これにより、潜在的要因を制御されたパrameterizationでモデル化することで、高次元データ（p ≫ n）を処理可能となり、自動的な外れ値検出が可能となる。t分布を超えた頑健性を拡張し、悪影響を及ぼす点（bad points）を同定しながら、統計的効率性を維持する。

ABSTRACT

The contaminated Gaussian distribution represents a simple robust elliptical generalization of the Gaussian distribution; differently from the often-considered $t$-distribution, it also allows for automatic detection of outliers, spurious points, or noise (collectively referred to as bad points herein). Starting from this distribution, we propose the contaminated Gaussian factor analysis model as a method for robust data reduction and detection of bad points in high-dimensions. A mixture of contaminated Gaussian factor analyzers model follows therefrom, and extends the recently proposed mixtures of contaminated Gaussian distributions to high-dimensional data, i.e., where $p$ (number of dimensions) is large relative to $n$ (sample size). The number of free parameters is controlled through the dimension of the latent factor space. For each discussed model, we outline a variant of the classical expectation-maximization algorithm for parameter estimation. Various implementation issues are discussed, and we use real data for illustration.

研究の動機と目的

• 外れ値を含む高次元データを扱える、従来の要因分析の代替となる頑健な手法の開発。
• 高次元データセット内での悪影響を及ぼす点（外れ値、ノイズ、誤った観測）の自動検出を可能にする。
• 汚染ガウス分布を要因分析および有限混合モデルへ拡張し、高次元におけるより高い頑健性を実現する。
• 特にp（次元数）がn（標本サイズ）に対して大きい場合に、低次元の潜在的要因空間によるモデルの複雑さを制御する。
• パrameter推定のための計算的に実行可能なフレームワークを提供する、修正版EMアルゴリズムを用いた。

提案手法

• 汚染ガウス要因分析モデルを提案し、高次元データ圧縮のための要因モデル枠組みに汚染ガウス分布を拡張する。
• 潜在的要因構造を用いて次元削減を実現するとともに、悪影響を及ぼす点を混合成分でモデル化する。
• 異種のデータ構造を高次元で扱える、汚染ガウス要因分析器の混合モデルを開発する。
• 期待値最大化（EM）アルゴリズムの変種を用いて、汚染割合や要因負荷量などのパラメータを推定する。
• 潜在的要因の数を制限することでモデルの複雑さを制御し、高次元設定におけるスケーラビリティを確保する。
• 汚染成分による確率の高い割り当てを通じて、自動的な外れ値検出を統合する。

実験結果

リサーチクエスチョン

• RQ1 p ≫ n のような高次元データに対して、頑健な要因分析をどのように拡張できるか？
• RQ2 高次元設定において、t分布と比較して汚染ガウス分布が外れ値検出をどのように改善できるか？
• RQ3 汚染ガウス要因分析器の混合モデルは、高次元で異種のデータ構造をどのように捉えつつ、モデルの複雑さを制御できるか？
• RQ4 提案されたEMベースの推定手法は、悪影響を及ぼす点の同定および潜在的要因の推定において、どのような性能を示すか？
• RQ5 汚染成分は、高次元データにおける誤った観測やノイズの自動検出をどのように可能にするか？

主な発見

• 汚染ガウス要因分析モデルは、汚染成分による悪影響を及ぼす点の同定と併せて、高次元データにおける次元削減に成功している。
• 汚染ガウス要因分析器の混合モデルは、p ≫ n の高次元設定において、異種のデータ構造を効果的に捉えている。
• 提案されたEMアルゴリズムは信頼性高く収束し、汚染割合や要因負荷量などのパラメータの効率的推定を可能にしている。
• 外れ値やノイズの同定により、悪影響を及ぼす点の位置を事前に知らなくても、モデルが頑健性を発揮する。
• 潜在的要因の数を制御することで、高次元状況下でもモデルの単純性（parsimony）とスケーラビリティが保証される。
• 実データ応用の結果、異常観測の同定および効果的な次元圧縮の両面で、モデルの実用的有用性が示された。