[論文レビュー] Mixtures of 'Unrestricted' Skew-t Factor Analyzers

Paula Murray, Ryan P. Browne+1 more|arXiv (Cornell University)|Oct 23, 2013

Bayesian Methods and Mixture Models参考文献 62被引用数 8

ひとこと要約

本稿では、高次元データのクラスタリングを目的として、『制約なし』のスケューt因子分析器の柔軟な混合モデルを提案する。これは、混合因子分析モデルを、非対称性と重たい尾を持つ分布をよりよく捉えるために、多様性に富んだスケューt分布へと拡張したものである。この手法により、ロバストなパラメータ推定が可能となり、スケーラビリティと解釈可能性を向上させるための、パラメータ数を削減したモデルの族が導入される。

ABSTRACT

Mixtures of skew-t distributions offer a flexible choice for model-based clustering. A mixture model of this sort can be implemented using a variety of forms of the skew-t distribution. Herein we develop a set of mixtures of skew-t factor analyzers models for clustering of high-dimensional data using a comparatively flexible variant of the skew-t distribution. Methodological details of our approach, which represents an extension of the mixture of factor analyzers model to a flexible skew-t distribution, are outlined and details of parameter estimation are provided. Extension of our mixtures of 'unrestricted' skew-t factor analyzers to a family of parsimonious models is also outlined.

研究の動機と目的

• 歪度や重たい尾を持つ高次元データを扱う際、従来のガウス分布に基づくクラスタリングモデルの限界を是正すること。
• スケューt分布と因子分析を組み合わせた柔軟な統計モデルを構築し、クラスタリングの精度を向上させること。
• 混合因子分析フレームワークの新規な拡張を通じて、高次元設定におけるロバストなパラメータ推定を可能にすること。
• モデルの複雑さを低減しながらも柔軟性と性能を維持するため、パラメータ数を削減したモデルの族を導入すること。

提案手法

• 歪度と尖度のモデリングにさらに柔軟性を与える『制約なし』のスケューt分布という、スケューt分布の柔軟な変種を活用する。
• 制約なしのスケューt分布を混合因子分析フレームワークに統合し、潜在的な低次元構造を持つ高次元データをモデル化する。
• 位置、尺度、形状、因子負荷パラメータを含むモデルパラメータの最尤推定のため、EMアルゴリズムを実装する。
• 因子負荷行列などのパラメータのサブセットを制約することで、過剰適合を抑えるパラメータ数を削減したパラメータ化を組み込む。
• 各成分がクラスタに対応する階層的混合モデル構造を採用する。各クラスタには独自のスケューt因子分析器が対応する。
• 最適化中の数値的安定性を向上させるとともに、成分の同定可能性を保証する再パラメータ化戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 制約なしのスケューt因子分析器の混合モデルは、非対称的かつ重たい尾を持つ高次元データを効果的にモデル化できるか？
• RQ2 提案手法は、従来のガウス分布やスケューt分布に基づく混合モデルと比較して、クラスタリング精度とロバスト性において優れているか？
• RQ3 パラメータ数を削減するパラメータ数を削減したパラメータ化は、クラスタリング性能を損なわず、どの程度モデルの複雑さを低減できるか？

主な発見

• 提案手法は、歪度や重たい尾を持つ高次元データのクラスタリングにおいて、従来のガウス分布ベースのモデルよりも優れた性能を示した。
• 制約なしのスケューt分布は、標準のスケューt分布や正規分布よりも、複雑なデータ構造を捉える柔軟性に優れている。
• モデルのパラメータ数を削減したパラメータ数を削減したバージョンは、パラメータ数を著しく削減しながらも、同等またはより高いクラスタリング精度を達成した。
• EMに基づく推定手順は、多様なデータ設定において信頼性高く収束し、数値的安定性を維持した。