[论文解读] Infinite Mixtures of Infinite Factor Analysers: Nonparametric Model-Based Clustering via Latent Gaussian Models

Keefe Murphy, Isobel Claire Gormley+1 more|arXiv (Cornell University)|Jan 24, 2017

Metabolomics and Mass Spectrometry Studies被引用 3

一句话总结

本文提出无限混合无限因子分析器（IMIFA），一种非参数贝叶斯模型，通过收缩先验和狄利克雷过程联合推断高维数据中的聚类数量及每个聚类特有的潜在因子数量。该方法可实现无需预先指定模型维度的自动、自适应聚类，利用截断棒构建法和截面抽样实现高效的后验推断。

ABSTRACT

Gaussian mixture models for high-dimensional data often assume a factor analytic covariance structure within each mixture component. When clustering via such mixtures of factor analysers (MFA), the numbers of clusters and latent factors must be specified in advance of model fitting, and remain fixed. The pair which optimises some model selection criterion are usually chosen. Within such a computationally intensive model search, only models in which the number of factors is common across clusters are generally considered. Here the mixture of infinite factor analysers (MIFA) is introduced, which allows different clusters to have different numbers of factors through the use of shrinkage priors. The cluster-specific number of factors is automatically inferred during model fitting, via an efficient, adaptive Gibbs sampler. However, the number of clusters still requires selection. Infinite mixtures of infinite factor analysers (IMIFA) is a nonparameteric extension of the MIFA model which uses Dirichlet or Poisson-Dirichlet processes to facilitate automatic, simultaneous inference of the number of clusters and the cluster-specific number of factors. IMIFA provides a flexible approach to fitting mixtures of factor analysers which obviates the need for model selection criteria. Estimation uses the stick-breaking construction and a slice sampler. Application to simulated data, a benchmark dataset, and spectral metabolomic data illustrate the methodology and its performance.

研究动机与目标

• 为解决传统因子混合模型（MFA）需预先指定聚类数量及每个聚类的因子数量的局限性。
• 开发一种灵活的非参数模型，通过收缩先验实现每个聚类特有的潜在因子数量。
• 通过同时自动推断聚类数量与聚类特异性因子维度，消除对模型选择准则的依赖。
• 通过自适应吉布斯抽样和截断棒构建法，提升高维聚类任务中的计算效率与可扩展性。

提出的方法

• 以 MIFA 模型为基础，引入收缩先验，使不同聚类可拥有不同的潜在因子数量。
• 通过狄利克雷过程或泊松-狄利克雷过程将 MIFA 扩展为 IMIFA，非参数地推断聚类数量。
• 采用截断棒构建法表示无限混合成分，实现无需预先指定聚类数量的灵活聚类。
• 使用截面抽样进行后验计算，实现对聚类与因子配置的无限维空间的高效探索。
• 对因子载荷矩阵应用收缩先验，以促进稀疏性并自动确定每个聚类的有效因子数量。
• 开发自适应吉布斯抽样器，在单一 MCMC 框架中联合更新聚类分配、因子维度与模型参数。

实验结果

研究问题

• RQ1 非参数贝叶斯模型能否在高维数据中联合推断聚类数量与聚类特异性潜在因子数量？
• RQ2 与固定因子的 MFA 模型相比，收缩先验与狄利克雷过程如何提升模型灵活性？
• RQ3 IMIFA 在多大程度上可减少聚类应用中对模型选择准则的依赖？
• RQ4 IMIFA 在模拟数据、基准数据集与真实代谢组学数据上的性能如何优于现有方法？

主要发现

• IMIFA 在无需预先指定或使用模型选择准则的情况下，成功推断出聚类数量与聚类特异性因子数量。
• 收缩先验使每个聚类的有效因子数量自动确定，部分聚类的因子数量少于其他聚类。
• 截断棒构建法与截面抽样使对无限混合空间的后验探索更加高效，支持可扩展的推断。
• 在模拟数据中，IMIFA 准确恢复了真实的聚类数量与因子维度，优于固定因子的 MFA 模型。
• 在基准数据集上，IMIFA 识别出比竞争方法更简洁且更具可解释性的聚类结构。
• 在光谱代谢组学数据中，IMIFA 揭示了具有不同潜在维度的生物上有意义的聚类，提示存在异质的生物亚结构。