[論文レビュー] Infinite Mixtures of Infinite Factor Analysers: Nonparametric Model-Based Clustering via Latent Gaussian Models

Keefe Murphy, Isobel Claire Gormley+1 more|arXiv (Cornell University)|Jan 24, 2017

Metabolomics and Mass Spectrometry Studies被引用数 3

ひとこと要約

本稿では、縮小事前分布とディリクレ過程を用いて、高次元データにおけるクラスタ数とクラスタ固有の潜在的要因数を同時に推定する非パラメトリックベイジアンモデル、無限混合の無限要因分析（IMIFA）を提案する。この手法により、事前にモデル次元を指定せずに、スティックブレイキング構成とスライスサンプリングを用いて効率的な事後分布推論が可能となり、自動的かつ適応的クラスタリングが実現される。

ABSTRACT

Gaussian mixture models for high-dimensional data often assume a factor analytic covariance structure within each mixture component. When clustering via such mixtures of factor analysers (MFA), the numbers of clusters and latent factors must be specified in advance of model fitting, and remain fixed. The pair which optimises some model selection criterion are usually chosen. Within such a computationally intensive model search, only models in which the number of factors is common across clusters are generally considered. Here the mixture of infinite factor analysers (MIFA) is introduced, which allows different clusters to have different numbers of factors through the use of shrinkage priors. The cluster-specific number of factors is automatically inferred during model fitting, via an efficient, adaptive Gibbs sampler. However, the number of clusters still requires selection. Infinite mixtures of infinite factor analysers (IMIFA) is a nonparameteric extension of the MIFA model which uses Dirichlet or Poisson-Dirichlet processes to facilitate automatic, simultaneous inference of the number of clusters and the cluster-specific number of factors. IMIFA provides a flexible approach to fitting mixtures of factor analysers which obviates the need for model selection criteria. Estimation uses the stick-breaking construction and a slice sampler. Application to simulated data, a benchmark dataset, and spectral metabolomic data illustrate the methodology and its performance.

研究の動機と目的

• 従来の混合因子分析（MFA）では、クラスタ数と各クラスタの要因数を事前に指定する必要があるという制限に対処すること。
• 縮小事前分布を用いて、クラスタ固有の潜在的要因数を許容する柔軟な非パラメトリックモデルの開発。
• クラスタ数とクラスタ固有の要因次元の両方を同時に自動推定可能にすることで、モデル選択基準の必要性を排除すること。
• 適応的ギブスサンプリングとスティックブレイキング構成を用いて、高次元クラスタリングタスクにおける計算効率とスケーラビリティの向上。

提案手法

• 異なるクラスタが異なる数の潜在的要因を持つことを可能にするために、縮小事前分布を用いたMIFAモデルを導入。
• クラスタ数を非パラメトリックに推定するために、ディリクレ過程またはポアソン-ディリクレ過程を用いてMIFAをIMIFAに拡張。
• 無限混合のコンポーネントを表現するためにスティックブレイキング構成を採用し、事前にクラスタ数を指定せずに柔軟なクラスタリングを可能にする。
• 無限次元のクラスタおよび要因構成空間の効率的探索を可能にするために、事後分布計算にスライスサンプラーを採用。
• 要因負荷行列に縮小事前分布を適用し、スパarsityを促進し、各クラスタの有効な要因数の自動決定を実現。
• クラスタ割り当て、要因次元、モデルパラメータを一度のMCMCフレームワーク内で同時に更新する適応的ギブスサンプラーを開発。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックベイジアンモデルは、高次元データにおいてクラスタ数とクラスタ固有の潜在的要因数を同時に推定できるか？
• RQ2 縮小事前分布とディリクレ過程を用いることで、固定要因数を持つMFAモデルと比較して、モデルの柔軟性がどのように向上するか？
• RQ3 IMIFAは、クラスタリング応用において、どの程度モデル選択基準の必要性を低減できるか？
• RQ4 シミュレーテッドデータ、ベンチマークデータセット、および実際の代謝プロファイルデータにおいて、IMIFAの性能は既存手法と比べてどのように異なるか？

主な発見

• IMIFAは、事前に指定やモデル選択基準を必要とせず、クラスタ数とクラスタ固有の要因数を両方とも効果的に推定できた。
• 縮小事前分布の使用により、各クラスタの有効な要因数が自動的に決定され、一部のクラスタでは他のクラスタと比較して少ない要因数を持つことが確認された。
• スティックブレイキング構成とスライスサンプラーにより、無限混合空間の事後分布探索が効率的に行われ、スケーラブルな推論を実現した。
• シミュレーテッドデータでは、IMIFAは真のクラスタ数と要因次元を正確に回復し、固定要因数を持つMFAモデルを上回る性能を示した。
• ベンチマークデータセットでは、競合手法と比較してより簡潔で解釈可能なクラスタリング構造を同定した。
• スペクトル代謝プロファイルデータでは、生物学的に意味のあるクラスタが、変動する潜在的次元性とともに同定され、生物学的サブ構造の不均一性を示唆した。