[论文解读] Escaping the curse of dimensionality in Bayesian model based clustering

Noirrit Kiran Chandra, Antonio Canale+1 more|PubMed|Jun 4, 2020

Bayesian Methods and Mixture Models参考文献 58被引用 15

一句话总结

本文识别出贝叶斯模型基聚类中的一个根本性问题：当数据维度增加时，后验分布往往会退化为单一聚类或每个观测对应一个聚类，无论真实的聚类结构如何。为解决此问题，作者提出一种潜在变量模型（Lamb），将高维数据投影到低维潜在空间，从而在温和的正则性条件下避免高维聚类的维度灾难，实现鲁棒聚类。

ABSTRACT

Bayesian mixture models are widely used for clustering of high-dimensional data with appropriate uncertainty quantification. However, as the dimension of the observations increases, posterior inference often tends to favor too many or too few clusters. This article explains this behavior by studying the random partition posterior in a non-standard setting with a fixed sample size and increasing data dimensionality. We provide conditions under which the finite sample posterior tends to either assign every observation to a different cluster or all observations to the same cluster as the dimension grows. Interestingly, the conditions do not depend on the choice of clustering prior, as long as all possible partitions of observations into clusters have positive prior probabilities, and hold irrespective of the true data-generating model. We then propose a class of latent mixtures for Bayesian clustering (Lamb) on a set of low-dimensional latent variables inducing a partition on the observed data. The model is amenable to scalable posterior inference and we show that it can avoid the pitfalls of high-dimensionality under mild assumptions. The proposed approach is shown to have good performance in simulation studies and an application to inferring cell types based on scRNAseq.

研究动机与目标

• 调查为何贝叶斯混合模型在高维聚类中失效，特别是当 p ≫ n 时。
• 识别后验退化（即聚类数趋向于 1 或 n）的根本原因，该现象随维度增加而显现。
• 证明这种退化现象与聚类先验的选择无关，只要所有划分的先验概率为正，退化就会发生。
• 开发一种在高维设置下可扩展且鲁棒的标准贝叶斯聚类替代方法。
• 通过模拟数据和单细胞 RNA-Seq 数据验证所提方法，显示其在性能上优于标准方法。

提出的方法

• 提出一种潜在混合模型（Lamb），通过低维潜在变量而非直接在高维观测数据上实现聚类。
• 将观测数据建模为给定低维潜在变量的条件独立，潜在空间采用多元正态似然。
• 采用分层先验结构，对潜在分量的均值和协方差使用共轭先验，以实现高效的后验计算。
• 在潜在聚类分配上使用狄利克雷过程或有限混合先验，以允许未知且灵活的聚类数量。
• 推导出在潜在模型下观测数据的边缘似然的闭式近似，从而实现可扩展的 MCMC 推断。
• 建立理论条件，证明在高维下后验分布可避免退化，表明潜在结构可稳定聚类行为。

实验结果

研究问题

• RQ1 当维度 p 增加而样本量 n 固定时，为何贝叶斯混合模型的后验推断倾向于将每个观测分配到其自身聚类或所有观测分配到单一聚类？
• RQ2 这种退化是由于先验选择所致，还是高维设置下模型结构的固有问题？
• RQ3 潜在变量表示能否在保持不确定性量化的同时缓解贝叶斯聚类中的维度灾难？
• RQ4 在 p → ∞ 时，聚类数量的后验分布在何种条件下仍保持良好行为？
• RQ5 所提出的潜在混合模型（Lamb）在真实世界数据上能否实现优于标准高维贝叶斯混合模型的聚类性能？

主要发现

• 在标准贝叶斯混合模型中，当维度 p 增加而样本量 n 固定时，聚类数的后验分布倾向于集中在 1 或 n。
• 这种退化现象与聚类先验的选择无关，只要所有划分的先验概率为正，退化就会发生，且并非仅由 MCMC 混合问题引起。
• 理论分析表明，在对先验超参数施加温和假设下，k_n = 1 与 k_n = n 的边缘似然比在 p → ∞ 时趋于无穷大。
• 所提出的 Lamb 模型通过低维潜在变量进行聚类，可避免此退化现象，并在温和正则性条件下保持稳定的后验聚类行为。
• 模拟研究显示，Lamb 在高维设置下相比标准狄利克雷过程混合模型，实现了更高的聚类准确率和更稳定的聚类恢复能力。
• 在单细胞 RNA-Seq 数据的应用中，Lamb 有效推断出具有生物学意义的细胞类型，优于标准贝叶斯聚类方法。