[論文レビュー] Multivariate normal mixture modeling, clustering and classification with the rebmix package

Marko Nagode|arXiv (Cornell University)|Jan 26, 2018

Bayesian Methods and Mixture Models参考文献 10被引用数 3

ひとこと要約

本稿では、多変量正規混合モデル、クラスタリング、分類に用いるREBMIXアルゴリズムを用いたrebmix Rパッケージを紹介する。REBMIXアルゴリズムは、成分のパラメータと重みを同時に推定するのではなく、個別に推定する。大規模データセットにおいて、特にヒストグラム前処理を施した場合、優れた計算速度と数値的安定性を示し、自由な分散共分散行列を有するシミュレートデータにおいて、クラスタリング正解率93.38%、分類誤差率6.62%を達成した。

ABSTRACT

The rebmix package provides R functions for random univariate and multivariate finite mixture model generation, estimation, clustering and classification. The paper is focused on multivariate normal mixture models with unrestricted variance-covariance matrices. The objective is to show how to generate datasets for a known number of components, numbers of observations and component parameters, how to estimate the number of components, component weights and component parameters and how to predict cluster and class membership based upon a model trained by the REBMIX algorithm. The accompanying plotting, bootstrapping and other features of the package are dealt with, too. For demonstration purpose a multivariate normal dataset with unrestricted variance-covariance matrices is studied.

研究の動機と目的

• 有限混合モデル、クラスタリング、分類に用いる多変量正規成分を有するrebmix Rパッケージの開発と提示。
• REBMIXアルゴリズムが成分のパラメータと重みを個別に推定できることにより、数値的安定性と計算速度が向上することの実証。
• ヒストグラム前処理を用いた大規模データセットにおけるパッケージの性能評価を、EMベースの手法と比較して行う。
• 合成データセットの生成、成分数の推定、不確実性を伴う観測値の分類のためのツール提供。
• 研究者がrebmixを混合モデルにおける初期パラメータ推定の堅牢な代替手段として使用できるようにすること。

提案手法

• REBMIXアルゴリズムは、最尤推定の原則に従い、成分の重みとパラメータ（平均ベクトルおよび分散共分散行列）を個別に推定し、EMで用いられる同時推定を回避する。
• パッケージは、自由な分散共分散行列を有する多変量正規混合分布をサポートし、予測密度推定と成分固有のパラメータ適合を用いる。
• 推定の安定性を高めるために、ヒストグラム、パルゼン窓、またはk近傍法による前処理が施され、特に大規模データセットにおいて有効である。
• 情報量基準（例：BIC、AIC、ICL）を用いて最適な成分数を特定し、基準値を最小化するモデル選択を行う。
• クラスタリングはREBMIXアルゴリズムを用い、分類は訓練データ上で学習されたモデルを用いたRCLSMIX法により実施する。
• ブートストラップ法とエントロピーに基づく評価（エントロピーとエントロピー減少）を用いて、クラスタリングの質と安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模な多変量正規混合データセットにおいて、REBMIXアルゴリズムはEMベースの手法と比較して、計算速度と数値的安定性においてどのように異なるか？
• RQ2 有限混合モデルにおける推定精度と速度を向上させるために、最適な前処理手法（ヒストグラム、パルゼン窓、k-NN）は何か？
• RQ3 rebmixパッケージは、自由な分散共分散行列を有する多変量正規混合分布において、成分数、成分重み、パラメータを信頼性高く推定できるか？
• RQ4 RCLSMIX法を、自由な分散共分散行列を有するシミュレートされた多変量正規混合分布からのテストデータに適用した場合、分類性能はどの程度高いか？
• RQ5 エントロピーとエントロピー減少を指標として用いた場合、REBMIXアルゴリズムはクラスタリング品質をどの程度向上させるか？

主な発見

• rebmixパッケージは、2000件の観測値と5つの成分を有するシミュレートされた多変量正規分布データセットにおいて、クラスタリング正解率93.38%を達成し、最適な成分数における正しいクラスタ割り当て確率は77.9%であった。
• テストセットにおける分類誤差率は6.62%であり、RCLSMIX法を用いた多クラス分類において優れた予測性能を示した。
• REBMIXアルゴリズムは、特にヒストグラム前処理を施した場合、大規模データセットにおいて優れた計算速度と数値的安定性を示した。
• エントロピー減少指標は、クラスタ数が2から1に減少するに従い、2.39から3150.78へと安定的に増加しており、効果的なクラスタ構造の検出を示している。
• BIC基準を用いて最適な成分数は5と特定され、この構成で最低のBIC値が達成された。
• 大規模データセットにおいて、EMベースの代替手法に比べて速度と安定性に優れた性能を示したが、小規模データセットでは前処理の影響によりわずかに精度が低かった。