[論文レビュー] Mixture Model Averaging for Clustering and Classification

Yuhong Wei, Paul D. McNicholas|arXiv (Cornell University)|Dec 23, 2012

Bayesian Methods and Mixture Models参考文献 23被引用数 2

ひとこと要約

本稿では、混合モデルに基づくクラスタリングのためのベイジアンモデル平均化手法を提案する。この手法は、最良にフィットするモデルに近い複数のモデルを平均化することで、頑健性を向上させる。オッカムの窓と調整ランズ・インデックスを用いたコンポーネントの統合を用いる。単一の「最良」モデルに依存するのを減らし、シミュレートデータおよび実データにおいてより安定的かつ正確なクラスタリング結果をもたらす。

ABSTRACT

In mixture model-based clustering applications, it is common to fit several models from a family and report clustering results from only the ‘best’ one. In such circumstances, selection of this best model is a difficult and consequential problem, and the Bayesian information criterion is typically used. Rather than throw away all but the best model, we develop approaches to average multiple models that are in some sense close to the best one, thereby producing a weighted average of clustering results. Two averaging approaches are considered: averaging the component membership probabilities and averaging models. In both cases, Occam’s window is used to determine closeness to the best model and weights are computed within a Bayesian model averaging paradigm. In some cases, we need to merge components before averaging and we introduce a method for merging mixture components based on the adjusted Rand index. The effectiveness of our model-based clustering averaging approach is illustrated using a family of Gaussian mixture models on simulated and real data. This paper is a significant step in the departure from the ‘single best model’ paradigm that currently dominates the model-based clustering literature.

研究の動機と目的

• 混合モデルに基づくクラスタリングにおいて、単一の「最良」モデルを選択するという限界を克服すること。これは、不安定または誤解を招く結果を生じる可能性がある。
• 最適な1つのモデルに依存するのではなく、複数の妥当なモデルを組み込むことで、モデル選択バイアスを低減すること。
• モデルの不確実性とコンポーネントの類似性を考慮した、混合モデル平均化の原則的で整合性のある手法を開発すること。
• 調整ランズ・インデックスに基づくコンポーネント統合技術を導入し、平均化の前段階で重複するか類似したコンポーネントを処理すること。
• モデル平均化が、シミュレートデータおよび実データの両方でクラスタリングの正確性と安定性を向上させることの有効性を示すこと。

提案手法

• ベイズ情報量基準（BIC）に基づき、最良にフィットするモデルから所定のしきい値以内のモデル集合を、オッカムの窓を用いて選択する。
• 選択されたモデルの事後確率に比例する重みを計算するために、ベイジアンモデル平均化を適用する。
• 選択されたモデル間でコンポーネントの所属確率を平均化し、最終的な滑らかなクラスタリング割り当てを生成する。
• あるいは、重み付き平均を用いてコンポーネントパラメータを組み合わせることで、完全な混合モデル自体を平均化する。
• 平均化の前段階でコンポーネントの類似度を測るために、調整ランズ・インデックスを用いる。
• 調整ランズ・インデックスに基づき、最も類似したコンポーネントを段階的に統合することで、所望の明確さの水準に達するまで繰り返し処理を行う。

実験結果

リサーチクエスチョン

• RQ1 モデル平均化は、単一の最良フィット混合モデルに依存する場合と比較して、どのようにクラスタリングの安定性と正確性を向上させるか？
• RQ2 平均化プロセスに含めるモデルを選択するための基準として何を用いるべきか？
• RQ3 重複するか、非常に類似した混合コンポーネントを、モデル平均化の前段階で効果的に統合するにはどうすればよいか？
• RQ4 モデル平均化は、混合モデルに基づくクラスタリングにおけるモデル選択の不確実性への感受性をどの程度低減するか？
• RQ5 提案手法は、シミュレートデータおよび実世界のクラスタリング応用において、従来の単一モデル選択法を上回ることができるか？

主な発見

• モデル平均化により、単一の最良モデルを選択する場合と比較して、分散を低減し、頑健性を高めることでクラスタリング性能が著しく向上する。
• オッカムの窓の使用により、平均化に含めるモデル数が適切に制限され、BICの観点から最も競争力のあるモデルに焦点を当てる。
• 調整ランズ・インデックスに基づくコンポーネント統合により、平均化の前段階で類似したコンポーネントを一貫的かつ意味的に統合できる。
• コンポーネント所属確率を平均化することで、単一モデルの出力に依存する場合よりも信頼性が高く安定したクラスタリング割り当てが得られる。
• 提案手法は、シミュレートされたガウス混合データおよび実世界のデータセットの両方で、クラスタリングの正確性に一貫した改善を示す。
• 特に高次元またはノイズの多いクラスタリング状況において、過学習やモデル選択バイアスのリスクが低減される。