[論文レビュー] Maximum Likelihood Estimation for Finite Mixtures of Canonical Fundamental Skew t-Distributions: the Unification of the Unrestricted and Restricted Skew t-Mixture Models

Sharon Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|Jan 31, 2014

Statistical Distribution Estimation and Applications参考文献 10被引用数 6

ひとこと要約

本稿では、有限混合の正準基本スチューデントt分布（FM-CFUST）に対する正確な期待最大化（EM）アルゴリズムを提案し、制限付きおよび非制限付きのスチューデントt混合モデルを統合する。対数関数の無限級数展開を用いて、すべてのEステップにおける条件付き期待値の閉形式表現を導出することで、モンテカルロ近似や数値的手法に依存せずに、より高速かつ高精度なパラメータ推定を可能にする。

ABSTRACT

In this paper, we present an algorithm for the fitting of a location-scale variant of the canonical fundamental skew t (CFUST) distribution, a superclass of the restricted and unrestricted skew t-distributions. In recent years, a few versions of the multivariate skew $t$ (MST) model have been put forward, together with various EM-type algorithms for parameter estimation. These formulations adopted either a restricted or unrestricted characterization for their MST densities. In this paper, we examine a natural generalization of these developments, employing the CFUST distribution as the parametric family for the component distributions, and point out that the restricted and unrestricted characterizations can be unified under this general formulation. We show that an exact implementation of the EM algorithm can be achieved for the CFUST distribution and mixtures of this distribution, and present some new analytical results for a conditional expectation involved in the E-step.

研究の動機と目的

• 正準基本スチューデントt（CFUST）分布を用いて、制限付き（rMST）および非制限付き（uMST）の多変量スチューデントt混合モデルを統一する単一のパrametricフレームワークを構築すること。
• 先行研究で用いられる計算コストの高い近似手法に依存せずに、CFUST分布の有限混合モデルに対する正確なEMアルゴリズムを開発すること。
• Eステップにおける扱いにくい条件付き期待値、特にガンマ変数を含む対数尤度項についての新しい解析的表現を導出すること。
• 非対称で重い尾を持つ分布を有する有限混合モデルにおける、効率的かつ高精度なパラメータ推定を可能にすること。

提案手法

• CFUST分布を成分分布として用いる有限混合モデルを提案し、これは制限付き（rMST）および非制限付き（uMST）のスチューデントt分布を一般化する。
• Eステップにおける扱いにくい期待値を処理するために、切り捨てモーメント法を用いたEMアルゴリズムを採用する。
• 0 < x < 2 の範囲における log(x) のテイラー展開および二項定理を用いて、E[log(Wj)|yj] の新しい無限級数表現を導出する。
• 主要なEステップ項 e(k)1,hj を、多変量t分布関数およびガンマ関数を含む収束級数として表現する。
• 位置（µ）、スケール（Σ）、歪度（∆）、自由度（ν）のすべてのパラメータについて、解析的解を用いた閉形式更新式を提供する。
• 歪度行列 ∆ に構造的制約を課した場合に、rMSTおよびuMSTモデルが特殊ケースとして導かれることが示され、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 制限付きおよび非制限付きのスチューデントt混合モデルは、単一のパラメトリック族内で統合可能か？
• RQ2 CFUST混合モデルのEMアルゴリズムにおけるEステップのすべての条件付き期待値について、正確な閉形式表現を導出可能か？
• RQ3 モンテカルロ積分を用いずに、log(Wj) を含む扱いにくい期待値を解析的に近似可能か？
• RQ4 提案されたEMアルゴリズムは、収束速度および推定精度の面で既存手法を上回るか？
• RQ5 統合されたFM-CFUSTモデルは、有限混合応用においてrMSTおよびuMSTモデルの柔軟な代替手段として機能可能か？

主な発見

• 提案されたFM-CFUSTモデルは、歪度行列 ∆ に構造的制約を課すことにより、制限付きおよび非制限付きのスチューデントt混合モデルを特殊ケースとして統合する。
• 多変量t分布関数およびガンマ関数を含む無限級数を用いて、e(k)1,hj の新しい正確な表現が導出され、閉形式計算が可能になる。
• Lin（2010）で用いられるモンテカルロ近似およびLeeとMcLachlan（2013a）のOSL手法に依存しないため、収束がより高速かつ高精度になる。
• すべてのEステップにおける条件付き期待値が解析的に取り扱えるようになり、EMアルゴリズムの完全な正確な実装が可能になった。
• S(k)1,hj の導出された級数は、実用上は少数の項で収束するため、計算的に実行可能である。
• シミュレーションによる結果から、重い尾を持つ分布および歪度のあるデータ構造の両方において、一貫性があり効率的なパラメータ推定が可能であることが示された（結論に示唆される）。