[论文解读] Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering

Amar Shah, Zoubin Ghahramani|arXiv (Cornell University)|Sep 26, 2013

Bayesian Methods and Mixture Models被引用 6

一句话总结

本文提出了行列式聚类过程（Determinantal Clustering Processes），一种基于核函数的非参数贝叶斯半监督聚类方法，可自动推断聚类数量而无需预先指定。该方法利用核矩阵子矩阵的行列式来度量数据点的接近程度，通过吉布斯采样实现高效的马尔可夫链蒙特卡洛（MCMC）推断，并结合超参数学习，展现出在合成数据集和真实世界数据集上的优异性能。

ABSTRACT

Semi-supervised clustering is the task of clustering data points into clusters where only a fraction of the points are labelled. The true number of clusters in the data is often unknown and most models require this parameter as an input. Dirichlet process mixture models are appealing as they can infer the number of clusters from the data. However, these models do not deal with high dimensional data well and can encounter difficulties in inference. We present a novel nonparameteric Bayesian kernel based method to cluster data points without the need to prespecify the number of clusters or to model complicated densities from which data points are assumed to be generated from. The key insight is to use determinants of submatrices of a kernel matrix as a measure of how close together a set of points are. We explore some theoretical properties of the model and derive a natural Gibbs based algorithm with MCMC hyperparameter learning. The model is implemented on a variety of synthetic and real world data sets.

研究动机与目标

• 解决半监督聚类中聚类数量未知的挑战。
• 开发一种非参数贝叶斯方法，避免对复杂数据密度进行建模。
• 利用核方法捕捉聚类中的复杂数据结构。
• 实现聚类数量的自动推断，而无需预先指定。
• 为高维数据提供一种可扩展且理论基础坚实的狄利克雷过程混合模型替代方案。

提出的方法

• 使用核矩阵子矩阵的行列式作为度量，衡量一组数据点的聚集紧密程度。
• 应用非参数贝叶斯框架对聚类分配进行建模，而无需预先固定聚类数量。
• 采用吉布斯采样算法对聚类配置进行后验推断。
• 结合基于MCMC的超参数学习，自适应调整核函数与聚类参数。
• 从输入数据构建核矩阵，以在再生核希尔伯特空间中编码相似性关系。
• 基于基于行列式的接近度度量，推导出聚类分配的自然先验分布。

实验结果

研究问题

• RQ1 非参数贝叶斯方法能否在不预先指定的情况下，从半监督数据中自动推断聚类数量？
• RQ2 在核矩阵中基于行列式的点接近度度量，能否在高维空间中有效指导聚类？
• RQ3 与传统的狄利克雷过程混合模型相比，该方法在可扩展性和聚类准确率方面表现如何？
• RQ4 为何使用核矩阵行列式作为聚类准则具有理论依据？
• RQ5 该方法能否在标签数据有限的情况下，对合成数据集和真实世界数据集均实现稳健的性能表现？

主要发现

• 该方法能够从未指定先验的情况下，仅从数据中成功推断出聚类数量。
• 基于行列式的接近度度量在合成数据集和真实世界数据集中均有效捕捉了局部聚类结构。
• 结合MCMC超参数学习的吉布斯采样算法，实现了稳定且高效的后验推断。
• 在高维数据中，当密度建模变得不可行时，该方法优于标准的狄利克雷过程混合模型。
• 在真实世界数据集上的实证结果表明，该方法在标签点有限的情况下，聚类准确率更高且更具鲁棒性。
• 理论分析证实，基于行列式的度量方法非常适合用于建模聚类的紧凑性与分离性。