[論文レビュー] Mixtures of Factor Analyzers with Fundamental Skew Symmetric Distributions

Sharon Lee, Tsung‐I Lin+1 more|arXiv (Cornell University)|Feb 7, 2018

Bayesian Methods and Mixture Models参考文献 36被引用数 7

ひとこと要約

本稿では、スケール混合の標準的基礎的歪みt分布（SMCFUST）を用いた柔軟な有限混合因子分析（SMCFUSTFA）を提案する。このモデルは、歪度が単一の方向に集中するという既存モデルの制限を克服し、複数の任意の方向の歪度を同時にモデル化できる。手法は最尤推定のためのEM型アルゴリズムを用い、他の競合モデルと比較して実データセットにおいて優れた性能を示す。

ABSTRACT

Mixtures of factor analyzers (MFA) provide a powerful tool for modelling high-dimensional datasets. In recent years, several generalizations of MFA have been developed where the normality assumption of the factors and/or of the errors was relaxed to allow for skewness in the data. However, due to the form of the adopted component densities, the distribution of the factors/errors in most of these models is typically limited to modelling skewness oncentrated in a single direction. Here, we introduce a more flexible finite mixture of factor analyzers based on the class of scale mixtures of canonical fundamental skew normal (SMCFUSN) distributions. This very general class of skew distributions can capture various types of skewness and asymmetry in the data. In particular, the proposed mixture model of SMCFUSN factor analyzers(SMCFUSNFA) can simultaneously accommodate multiple directions of skewness. As such, it encapsulates many commonly used models as special and/or limiting cases, such as models of some versions of skew normal and skew t-factor analyzers, and skew hyperbolic factor analyzers. For illustration, we focus on the t-distribution member of the class of SMCFUSN distributions, leading to mixtures of canonical fundamental skew t-factor analyzers (CFUSTFA). Parameter estimation can be carried out by maximum likelihood via an EM-type algorithm. The usefulness and potential of the proposed model are demonstrated using two real datasets.

研究の動機と目的

• 既存の因子分析混合モデルが歪度を単一の方向に集中させると仮定しているという制限を解消すること。
• 高次元データにおけるさまざまな種類の歪度および非対称性を捉えることができる、より柔軟なモデルの開発。
• 因子分析器における歪度分布のクラスを拡張するために、スケール混合の標準的基礎的歪みt分布（SMCFUST）を採用すること。
• 多くの既存の歪度因子分析モデルを特別なケースとして含む統一的な枠組みを提供すること。
• 実データセットを用いた実証的評価を通じて、モデルの有効性を示すこと。

提案手法

• スケール混合の標準的基礎的歪みt分布（SMCFUST）に基づく因子分析混合モデル（SMCFUSTFA）を提案する。これは、複数の任意の方向の歪度を許容する一般化された歪度分布のクラスである。
• 最尤推定のためのEM型アルゴリズムを用い、潜在変数の条件付き期待値のためのEステップ式を導出する。
• CFUST分布に歪度パラメータの行列を組み込み、歪度が単一の方向に制限されない柔軟なモデル化を可能にする。
• 切断t分布および条件付き期待値を含むEステップの式を導出し、切断変数のモーメントに対する閉形式近似を提供する。
• 初期化、収束評価、モデル選択のための戦略を採用し、堅牢な実装を確保する。
• 本モデルは、歪度正規分布および歪度t分布因子分析混合モデルなど、既存のモデルを一般化しており、それらを特別なケースとして含む。

実験結果

リサーチクエスチョン

• RQ1 因子分析混合モデルは、単一の歪度方向に制限されず、複数の歪度方向を同時にモデル化できるか？
• RQ2 実世界の高次元データにおいて、SMCFUSTFAモデルは既存の歪度因子分析モデルと比較してどの程度優れた性能を示すか？
• RQ3 提案されたモデルは、MSNFA、MSTFA、MGHSTFAなどの既存モデルをどの程度包含または一般化するか？
• RQ4 SMCFUST分布のスケール混合を用いることで、データの裾の重さと非対称性のモデル化にどのような影響を与えるか？
• RQ5 実際の応用において、EM型アルゴリズムはSMCFUSTFAモデルのパラメータ推定にどの程度効果的か？

主な発見

• SMCFUSTFAモデルは、歪度が単一の方向に制限された既存のモデルでは実現できない、複数の任意の方向の歪度を効果的に捉えている。
• 2つの実データセットにおいて、さまざまな性能評価指標の観点から、競合モデルを上回る性能を示しており、モデルの有効性が裏付けられている。
• SMCFUSTFAモデルは、歪度正規分布混合、歪度t分布混合、歪度超円錐分布混合因子分析モデルを特別または極限ケースとして含む。
• EM型アルゴリズムは信頼性高く収束し、適切な初期化と収束基準を用いることで、正確なパラメータ推定が可能である。
• アルゴリズムのEステップ式は、切断t分布および条件付き期待値を用いて導出されており、既存の統計的公式に基づくモーメントの近似が用いられている。
• 実験的結果から、本モデルは従来のMFAおよび他の歪度拡張モデルよりも、歪度のある高次元データに対してより良好なフィットを達成していることが示された。