[論文レビュー] EMMIX-uskew: An R Package for Fitting Mixtures of Multivariate Skew t-distributions via the EM Algorithm

Sharon Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|Nov 22, 2012

Bayesian Methods and Mixture Models参考文献 29被引用数 14

ひとこと要約

この論文では、閉形式のEMアルゴリズムを用いて、有限混合の自由な多次元スケュー t 分布をフィッティングするための R パッケージ EMMIX-uskew を紹介する。最大尤度推定、2次元／3次元密度等高線の可視化、および乱数抽出が可能であり、実際のフローサイトメトリーおよび AIS データセットにおいて、制限付きモデルと比較して優れたクラスタリング性能を示している。

ABSTRACT

This paper describes an algorithm for fitting finite mixtures of unrestricted Multivariate Skew t (FM-uMST) distributions. The package EMMIX-uskew implements a closed-form expectation-maximization (EM) algorithm for computing the maximum likelihood (ML) estimates of the parameters for the (unrestricted) FM-MST model in R. EMMIX-uskew also supports visualization of fitted contours in two and three dimensions, and random sample generation from a specified FM-uMST distribution. Finite mixtures of skew t-distributions have proven to be useful in modelling heterogeneous data with asymmetric and heavy tail behaviour, for example, datasets from flow cytometry. In recent years, various versions of mixtures with multivariate skew t (MST) distributions have been proposed. However, these models adopted some restricted characterizations of the component MST distributions so that the E-step of the EM algorithm can be evaluated in closed form. This paper focuses on mixtures with unrestricted MST components, and describes an iterative algorithm for the computation of the ML estimates of its model parameters. The usefulness of the proposed algorithm is demonstrated in three applications to real data sets. The first example illustrates the use of the main function fmmst in the package by fitting a MST distribution to a bivariate unimodal flow cytometric sample. The second example fits a mixture of MST distributions to the Australian Institute of Sport (AIS) data, and demonstrate that EMMIX-uskew can provide better clustering results than mixtures with restricted MST components. In the third example, EMMIX-uskew is applied to classify cells in a trivariate flow cytometric dataset. Comparisons with other available methods suggests that the EMMIX-uskew result achieved a lower misclassification rate with respect to the labels given by benchmark gating analysis.

研究の動機と目的

• 閉形式のEMアルゴリズムを用いて、自由な多次元スケュー t 分布の有限混合モデル（FM-uMST）をフィッティングする手法の開発。
• 既存のモデルが解析的 E ステップ計算を可能にするために成分のスケュー t 分布に制限を課しているという問題を解決すること。
• 異種的で歪度があり、裾が重いデータをモデル化するための柔軟で計算的に効率的な R でのソリューションの実装。
• 本パッケージの実世界応用における有効性、特にフローサイトメトリーおよびクラスタリング分野での実用性を示すこと。
• 2次元および3次元での可視化ツールを提供し、等高線プロットやクラスターマップを含む、フィットした混合モデルの可視化を可能にすること。

提案手法

• E ステップのための閉形式表現を実装するにあたり、条件付き期待値を多次元非中心切断 t 分布のモーメントとして認識することにより、EMアルゴリズムを構築。
• 非中心切断 t 分布のモーメントを、中心 t 分布の表現に言い換えることで、解析的計算を可能にする。
• アルゴリズムは、混合割合、位置、スケール、形状、自由度を含む、FM-uMST モデルのすべてのパラメータを推定する。
• パッケージには3つのコア関数が含まれる：fmmst（フィッティング）、rfmmst（乱数抽出）、fmmst.contour（可視化）。
• 可視化関数は、等高線付きの2次元散布図、ヒートマップ、カスタマイズ可能なレベルと成分固有の表示を備えた3次元インタラクティブプロットをサポートする。
• アルゴリズムは 'clusters' 引数を介して、成分ごとのプロットとクラスターラベル付けを可能にし、真のラベルと比較可能な分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 制限を課さずに、自由な多次元スケュー t 分布の有限混合モデルに対する閉形式のEMアルゴリズムを開発できるか？
• RQ2 異種的で歪度があり、裾が重いデータのクラスタリングにおいて、制限なしの FM-uMST モデルは制限付きモデルよりも優れた性能を示すか？
• RQ3 フローサイトメトリーのデータ解析において、EMMIX-uskew はベンチマーク手法よりも低い誤分類率を達成できるか？
• RQ4 2次元および3次元の等高線プロットを通じて、複雑な多次元混合モデルの解釈をどの程度サポートできるか？
• RQ5 非対称的かつ外れ値に敏感な構造を示す実世界のデータセット（例：フローサイトメトリーおよび AIS データ）をモデル化する際、本パッケージはどの程度有効か？

主な発見

• EMMIX-uskew は、成分のスケュー t 分布に制限を課さずに、FM-uMST モデルの閉形式 EM アルゴリズムを成功裏に実装し、正確な尤度最大化を可能にした。
• パッケージは、オーストラリア・インスティテュート・オブ・スポーツ（AIS）データセットのクラスタリングにおいて、制限付き MST モデルを上回り、異種のサブポピュレーションの分離がより良好に実現された。
• 3変量のフローサイトメトリックなデータにおいて、EMMIX-uskew はベンチマークゲーティング解析と比較して、より低い誤分類率を達成した。
• fmmst.contour.2d および fmmst.contour.3d の可視化関数は、フィットした混合密度を効果的に表示でき、クラスターマップや強度のヒートマップを含むモデルの解釈性を向上させた。
• rfmmst を用いた乱数抽出により、フィットした FM-uMST モデルから現実的なデータをシミュレートでき、モデルの妥当性検証やテストに役立つ。
• 3つの実データアプリケーションを通じて、非対称的かつ裾の重いデータのモデル化において、アルゴリズムがロバストで正確であることが示された。