[论文解读] A Bayesian non-parametric method for clustering high-dimensional binary data

Tapesh Santra|arXiv (Cornell University)|Mar 8, 2016

Bayesian Methods and Mixture Models参考文献 23被引用 5

一句话总结

本文提出了一种基于狄利克雷过程混合模型与模拟退火算法的贝叶斯非参数聚类方法，用于高维二值数据的聚类，可自动确定最优聚类数。该方法在模拟实验中优于现有方法，并成功应用于文档分析、手写识别和癌症研究等真实数据集，识别出基于主题的分组、书写风格聚类以及与治疗相关的组织-突变模式。

ABSTRACT

In many real life problems, objects are described by large number of binary features. For instance, documents are characterized by presence or absence of certain keywords; cancer patients are characterized by presence or absence of certain mutations etc. In such cases, grouping together similar objects/profiles based on such high dimensional binary features is desirable, but challenging. Here, I present a Bayesian non parametric algorithm for clustering high dimensional binary data. It uses a Dirichlet Process (DP) mixture model and simulated annealing to not only cluster binary data, but also find optimal number of clusters in the data. The performance of the algorithm was evaluated and compared with other algorithms using simulated datasets. It outperformed all other clustering methods that were tested in the simulation studies. It was also used to cluster real datasets arising from document analysis, handwritten image analysis and cancer research. It successfully divided a set of documents based on their topics, hand written images based on different styles of writing digits and identified tissue and mutation specificity of chemotherapy treatments.

研究动机与目标

• 解决传统方法在高维二值数据聚类中因维度高和聚类数不确定而面临的挑战。
• 开发一种可自动确定最优聚类数而无需预先指定的方法。
• 提高在涉及关键词存在性、基因突变或图像特征等二值特征的真实应用场景中的聚类准确率与鲁棒性。
• 提供一种可扩展且自适应的框架，适用于文本、成像和生物医学研究等多种领域。

提出的方法

• 该方法采用狄利克雷过程混合模型（DPMM），允许聚类数量无界，通过后验推断确定实际有效的聚类数。
• 使用非共轭先验来建模二值数据，从而灵活地拟合高维二值向量。
• 将模拟退火算法集成到吉布斯抽样框架中，以改善后验探索过程中的收敛性并避免陷入局部最优。
• 算法利用狄利克雷过程的中国餐馆过程（CRP）表示法，在抽样过程中高效地将数据点分配至聚类。
• 通过马尔可夫链蒙特卡洛（MCMC）方法进行后验推断，采用融合了聚类特异性参数的坍缩吉布斯采样器。
• 该方法自适应地学习聚类结构，无需预先指定聚类数量。

实验结果

研究问题

• RQ1 贝叶斯非参数模型是否能在不预先指定聚类数的情况下，有效聚类高维二值数据？
• RQ2 在模拟的高维二值数据上，该方法与现有参数与非参数方法相比，聚类准确率如何？
• RQ3 该方法是否能成功识别真实数据集（如文档、手写数字和癌症突变谱）中的有意义分组？
• RQ4 模拟退火的引入是否能改善高维二值设置下的收敛性与聚类性能？

主要发现

• 在模拟研究中，所提方法优于所有测试的聚类算法，展现出更优的准确率，能有效识别真实聚类结构。
• 该方法成功基于关键词存在/缺失数据对文档进行聚类，揭示出语义主题的连贯聚类。
• 通过书写风格准确聚类手写数字图像，有效区分不同书写模式。
• 在癌症研究中，该方法识别出组织特异性和突变特异性的化疗反应模式。
• 该算法自动确定了最优聚类数，避免了过拟合并减少了对启发式聚类选择方法的依赖。
• 模拟退火的使用显著提升了高维设置下MCMC抽样过程的收敛性与稳定性。