[论文解读] A Random Finite Set Model for Data Clustering

Dinh Phung, Ba‐Ngu Vo|arXiv (Cornell University)|Mar 14, 2017

Bayesian Methods and Mixture Models参考文献 32被引用 3

一句话总结

该论文提出了一种狄利克雷过程混合泊松随机有限集（DP-RFS）模型，用于对未知聚类数的集合型数据进行聚类。通过利用共轭先验和退化吉布斯采样，该模型能够自动推断聚类数量和参数，在传统方法失效的极端不平衡聚类场景中成功识别出聚类。

ABSTRACT

The goal of data clustering is to partition data points into groups to minimize a given objective function. While most existing clustering algorithms treat each data point as vector, in many applications each datum is not a vector but a point pattern or a set of points. Moreover, many existing clustering methods require the user to specify the number of clusters, which is not available in advance. This paper proposes a new class of models for data clustering that addresses set-valued data as well as unknown number of clusters, using a Dirichlet Process mixture of Poisson random finite sets. We also develop an efficient Markov Chain Monte Carlo posterior inference technique that can learn the number of clusters and mixture parameters automatically from the data. Numerical studies are presented to demonstrate the salient features of this new model, in particular its capacity to discover extremely unbalanced clusters in data.

研究动机与目标

• 解决集合型数据聚类问题，其中每个数据点是有限个特征的集合，而非固定维数的向量。
• 克服现有聚类算法需预先指定聚类数量的局限性。
• 构建一个统计上严谨的模型，利用非参数贝叶斯方法从数据中自动推断聚类数量和混合参数。
• 在少数类聚类易被标准算法忽略的不平衡数据场景中实现鲁棒聚类。
• 提供一个通用框架，适用于图像分析、文本建模和空间数据等自然呈现为集合形式的多样化领域。

提出的方法

• 将数据聚类形式化为随机有限集（RFS）问题，将每个数据点建模为泊松RFS的实现。
• 为泊松RFS似然推导共轭先验，实现对模型参数的解析边缘化。
• 通过在混合权重上使用狄利克雷过程先验，构建无限混合模型，实现对聚类数量的非参数推断。
• 实现一种退化吉布斯采样器，通过积分掉模型参数，相比完整吉布斯采样提升收敛速度。
• 在MCMC采样过程中，利用预测密度和后验预测检查来指导聚类分配与参数估计。
• 利用泊松RFS的灵活性，建模稀疏、偏斜及不平衡的聚类结构，包括罕见或异常聚类。

实验结果

研究问题

• RQ1 基于随机有限集的非参数贝叶斯模型是否能有效聚类集合型数据，而无需预先指定聚类数量？
• RQ2 所提出的DP-RFS模型在检测极端不平衡聚类方面表现如何，特别是在主导聚类掩盖少数类的情况下？
• RQ3 泊松RFS似然的共轭先验结构在非参数混合框架中，对实现高效且准确的后验推断有多大促进作用？
• RQ4 DP-RFS模型中的退化吉布斯采样器在收敛性和准确性方面，与标准完整吉布斯采样在聚类任务中相比如何？
• RQ5 在稀疏、不平衡或易受异常值影响的聚类场景中，DP-RFS模型是否能优于最先进的方法（如无限高斯混合模型iGMM）？

主要发现

• 在合成数据集中，DP-RFS模型成功识别出五个聚类，其中包含一个主导聚类（泊松率100）和四个稀疏异常聚类（率0.5），而iGMM完全遗漏了这四个少数类聚类。
• 模型估计的主导聚类率为77.32，四个异常聚类的率在0.34至0.38之间，与真实值0.5非常接近。
• 由于对模型参数进行了边缘化，退化吉布斯采样器的收敛速度优于标准完整吉布斯采样器。
• DP-RFS模型初始阶段高估了聚类数量，但最终收敛至真实数量，表现出对初始条件的鲁棒性。
• 与需预先指定聚类数量且无法检测少数类的有限高斯混合模型（MoG）不同，DP-RFS模型能自动推断出正确的聚类数量。
• 模型采用泊松RFS似然提供了足够的灵活性，以建模偏斜和稀疏的聚类结构，从而实现对罕见或异常模式的检测。