[論文レビュー] EMMIXcskew: an R Package for the Fitting of a Mixture of Canonical Fundamental Skew t-Distributions

Sharon Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|Sep 7, 2015

Bayesian Methods and Mixture Models参考文献 45被引用数 7

ひとこと要約

本論文は、EMアルゴリズムを用いた最尤推定により、有限混合の正準基本スケュー t 分布（FM-CFUST）をフィッティングするための R パッケージ EMMIXcskew を紹介する。この手法は、非正規データの歪度および頑健性を捉えるための柔軟で統一的なフレームワークを提供し、正規分布、t 分布、スケュー正規分布、その他のスケュー t 分布を特別なケースとして含む。応用分野は、クラスタリング、密度推定、多様分野における頑健なモデリングである。

ABSTRACT

This paper presents an R package EMMIXcskew for the fitting of the canonical fundamental skew t-distribution (CFUST) and finite mixtures of this distribution (FM-CFUST) via maximum likelihood (ML). The CFUST distribution provides a flexible family of models to handle non-normal data, with parameters for capturing skewness and heavy-tails in the data. It formally encompasses the normal, t, and skew-normal distributions as special and/or limiting cases. A few other versions of the skew t-distributions are also nested within the CFUST distribution. In this paper, an Expectation-Maximization (EM) algorithm is described for computing the ML estimates of the parameters of the FM-CFUST model, and different strategies for initializing the algorithm are discussed and illustrated. The methodology is implemented in the EMMIXcskew package, and examples are presented using two real datasets. The EMMIXcskew package contains functions to fit the FM-CFUST model, including procedures for generating different initial values. Additional features include random sample generation and contour visualization in 2D and 3D.

研究の動機と目的

• 非正規データの歪度および重たい尾の挙動を捉える柔軟な統計的モデルの開発。
• 制限付き・非制限付きスケュー t 分布、スケュー正規分布、t 分布を含む既存のスケュー t 分布を、単一の正準フレームワークに統合すること。
• FM-CFUST 分布の有限混合モデルにおける最尤推定のための効率的な EM アルゴリズムの実装。
• パラメータ推定、乱数発生、密度評価、2次元および3次元の等高線可視化のためのツールを備えた R パッケージの提供。
• 最適な混合成分数や分布仮定を同定するための AIC および BIC を用いたモデル選択の支援。

提案手法

• スケューines 行列 Δ（p×q）、位置 μ、スケール行列 Σ、自由度 ν を用いて、正準基本スケュー t 分布（CFUST）を形式化する。
• FM-CFUST モデルの最尤推定に、期待値最大化（EM）アルゴリズムを採用する。
• k-means、ランダムスタート、モデルベースのシーディングを含む、EM アルゴリズムの複数の初期化戦略を導入する。
• CFUST 密度の定式化において、多変量 t 密度および累積 t 分布関数を用いる：f(y) = 2q tp(y; μ, Ω, ν) Tq(c(y)/r; 0, Λ, ν+p)。
• FM-CFUST モデルからの乱数発生、密度評価、および 2D および 3D の等高線プロットのための関数を実装する。
• 成分ごとの等高線プロットを可能にするために、component=1:2 を設定し、混合割合に依存せずに個々の混合成分を独立して可視化できる。

実験結果

リサーチクエスチョン

• RQ1 多変量データにおける歪度および重たい尾の両方をモデル化するための統一的パrametric 家族をどのように構築できるか？
• RQ2 FM-CFUST 分布の有限混合モデルに対する EM アルゴリズムの初期化において、局所最適解を回避するための最も効果的な方法は何か？
• RQ3 FM-CFUST モデルは、非対称性や尖度といった複雑なデータ特徴を捉える際、従来の正規分布および t 分布混合モデルと比較してどのように優れているか？
• RQ4 高次元 CFUST 混合モデルのフィッティングにおける計算上の課題は何か、そしてそれらはどのように軽減できるか？
• RQ5 EMMIXcskew パッケージは、非正規特徴を有する実世界のデータセットに対して、頑健なモデル選択および可視化をサポートできるか？

主な発見

• CFUST 分布は、多変量正規分布、t 分布、スケュー正規分布、および古典的なスケュー t 分布を特別または極限ケースとして正式に含む。
• FM-CFUST モデルは、一般の p×q スケューイング行列を用いることで、歪度および重たい尾を扱える、正規混合モデルの頑健な拡張を提供する。
• EM アルゴリズムは、EMMIXcskew に実装されており、高尤度解への収束を達成しており、初期化戦略が収束速度および精度に顕著な影響を及ぼす。
• パッケージは、混合密度および個々の成分の正確な 2D および 3D の等高線可視化を可能にし、クラスタ解釈のための色分け済みデータポイントを提供する。
• AIC および BIC の統合により、異なる成分数や分布仮定を持つモデルを客観的に比較できる。
• シミュレーションおよび実データ例（例：iris の versicolor）により、標準的な混合モデルがモデル化できない複雑な非楕円的データ構造を、このモデルが捉える能力が示された。