[論文レビュー] On Estimation of Parameter Uncertainty in Model-Based Clustering

Adrian O’Hagan, Thomas Brendan Murphy+1 more|arXiv (Cornell University)|Oct 2, 2015

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

本論文は、混合モデルを用いたモデルベースクラスタリングにおける標準誤差および信頼区間の推定に、ブートストラップ、重み付き尤度ブートストラップ（WLB）、ジャックナイフ法を評価する。シミュレーションおよびOld Faithfulのデータセットを通じて、これらのリサンプリング手法が、通常のモデルフィッティング手法がパrameterの変動性を無視するという重要な欠落を埋める信頼性の高い不確実性の定量化を提供することを示している。

ABSTRACT

Mixture models are a popular tool in model-based clustering. Such a model is often fitted by a procedure that maximizes the likelihood, such as the EM algorithm. At convergence, the maximum likelihood parameter estimates are typically reported, but in most cases little emphasis is placed on the variability associated with these estimates. In part this may be due to the fact that standard errors are not directly calculated in the model-fitting algorithm, either because they are not required to fit the model, or because they are difficult to compute. The examination of standard errors in model-based clustering is therefore typically neglected. The widely used R package mclust has recently introduced bootstrap and weighted likelihood bootstrap methods to facilitate standard error estimation. This paper provides an empirical comparison of these methods (along with the jackknife method) for producing standard errors and confidence intervals for mixture parameters. These methods are illustrated and contrasted in both a simulation study and in the traditional Old Faithful data set.

研究の動機と目的

• モデルベースクラスタリングにおいて、最尤推定値が標準誤差を伴わずに報告されるというパラメータ不確実性への無関心を是正すること。
• ブートストラップ、重み付き尤度ブートストラップ（WLB）、およびジャックナイフ法が、混合モデルパラメータの標準誤差を推定する上でいかに性能を発揮するかを評価すること。
• これらのリサンプリング手法の信頼性と正確性について、シミュレーションおよび実世界のクラスタリング状況の両方で実証的証拠を提供すること。
• Rパッケージmclustを用いた実用的実装の例を提示すること。mclustは、今やこれらの手法をサポートしている。

提案手法

• EMアルゴリズムを用いてデータに有限正規混合モデルをフィットさせ、最尤推定値をベースラインとして得る。
• 非パラメトリックブートストラップ、重み付き尤度ブートストラップ（WLB）、およびグループ削除ジャックナイフ法という3つのリサンプリング手法を適用し、混合パラメータの標準誤差を推定する。
• デルタ法および漸近的理論を用いて、リサンプリングに基づく標準誤差を検証し、可能な限り解析的近似と比較する。
• 古典的なOld Faithful間欠石灰鉱物の噴出データセットおよび真のパラメータ値が既知のシミュレーテッドデータにこれらの手法を適用し、カバレッジと精度を評価する。
• リサンプル推定値の百分位数を用いて信頼区間を構築し、そのカバレッジ確率を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースクラスタリングにおける混合モデルパラメータの標準誤差推定において、ブートストラップ、WLB、ジャックナイフ法はどのように比較されるか？
• RQ2 有限標本におけるこれらのリサンプリング手法から導かれる信頼区間のカバレッジ性能はいかがなものか？
• RQ3 これらの手法は、Old Faithfulデータセットのような実データにおいて理論的期待と比較して、どのように機能するか？
• RQ4 解析的標準誤差が計算しにくい状況において、これらのリサンプリング手法はパラメータ不確実性を信頼性高く定量化できるか？

主な発見

• ブートストラップとWLB法は、両方のシミュレーションおよびOld Faithfulデータセットにおいて、類似した標準誤差推定値を示し、混合パラメータのカバレッジ性質も良好であった。
• ジャックナイフ法は標準誤差推定値のばらつきがわずかに高かったが、特に小標本においても妥当な代替手法であった。
• 3つのリサンプリング手法すべてが、標準誤差の評価なしに最尤推定値に依存するのとは対照的に、より信頼性の高い不確実性推定を提供した。
• WLB法は計算が効率的で、尤度が複雑または高次元である場合に特にモデルベースクラスタリングに適していた。