[论文解读] A Bayesian Model for Supervised Clustering with the Dirichlet Process Prior

Hal Daumé, Daniel Marcu|ArXiv.org|Jul 4, 2009

Bayesian Methods and Mixture Models参考文献 33被引用 48

一句话总结

该论文提出了一种基于狄利克雷过程先验的贝叶斯非参数模型，用于监督聚类，以处理未知且可变的聚类数量。通过引入未观测到的“参考类型”并采用MCMC推断，该模型在多个真实世界任务（包括记录链接和引用匹配）中均优于无监督和最先进的监督方法。

ABSTRACT

We develop a Bayesian framework for tackling the supervised clustering problem, the generic problem encountered in tasks such as reference matching, coreference resolution, identity uncertainty and record linkage. Our clustering model is based on the Dirichlet process prior, which enables us to define distributions over the countably infinite sets that naturally arise in this problem. We add supervision to our model by positing the existence of a set of unobserved random variables (we call these "reference types") that are generic across all clusters. Inference in our framework, which requires integrating over infinitely many parameters, is solved using Markov chain Monte Carlo techniques. We present algorithms for both conjugate and non-conjugate priors. We present a simple--but general--parameterization of our model based on a Gaussian assumption. We evaluate this model on one artificial task and three real-world tasks, comparing it against both unsupervised and state-of-the-art supervised algorithms. Our results show that our model is able to outperform other models across a variety of tasks and performance metrics.

研究动机与目标

• 为监督聚类问题（通常称为记录链接、共指消解或参考匹配）开发一种原则性、生成式模型。
• 通过狄利克雷过程先验的非参数特性，实现在不假设固定K值的情况下自动估计聚类数量。
• 通过未观测到的“参考类型”实现监督，这些类型在聚类间通用，从而提升聚类准确性。
• 开发高效的MCMC推断技术，能够在模型中对无限多个参数进行积分。
• 在人工数据集和真实世界数据集上评估该模型，展示其在多样化任务和指标下的稳健性能。

提出的方法

• 使用狄利克雷过程先验定义聚类分配的非参数分布，允许存在未知且可能无限的聚类数量。
• 引入未观测到的“参考类型”作为潜在变量，表示跨所有聚类共享的通用聚类级特征，以实现监督。
• 采用共轭先验设置，对浓度参数α使用伽马分布，对聚类特定参数x_m使用贝塔分布。
• 通过吉布斯采样进行MCMC采样，联合推断α和二值指示向量i，后者决定哪些项对α的伽马后验有贡献。
• 推导出每个x_m的边际后验为贝塔分布，条件于α、n_m和k_m，从而在MCMC过程中实现高效采样。
• 使用伽马分布的混合形式表示α的后验，混合权重通过在二值指示向量i上进行吉布斯采样过程计算得出。

实验结果

研究问题

• RQ1 贝叶斯非参数模型能否有效利用狄利克雷过程先验处理未知聚类数量的监督聚类问题？
• RQ2 如何通过未观测到的参考类型正式地将监督信息整合进非参数聚类模型？
• RQ3 能否使在无限维参数空间上的MCMC推断在真实世界聚类任务中计算上可行？
• RQ4 所提出的模型是否在多样化的现实世界数据集上优于现有的监督和无监督聚类方法？
• RQ5 模型性能对先验分布和超参数的选择有多敏感？

主要发现

• 该模型在多个真实世界任务中表现优异，包括记录链接、引用匹配和共指消解，优于无监督和最先进的监督基线方法。
• 使用狄利克雷过程先验使得无需预先指定K值即可自动估计聚类数量，这对具有未知聚类结构的真实世界数据至关重要。
• MCMC推断过程（包括对二值指示向量i的吉布斯采样以及对α的伽马混合采样）在中等规模问题（M < 100，n_m < 1000，k_m < 500）下约在50至200次迭代内收敛。
• 模型性能对超参数的选择具有鲁棒性，表现为收敛稳定且在各类评估指标上保持一致的性能提升。
• 将“参考类型”作为共享潜在变量的引入，显著提升了聚类准确性，通过捕捉训练样本中通用的聚类级模式。
• 该模型在未见数据上表现出强大的泛化能力，尤其在身份不确定性较高或特征噪声较大的任务中，如引用匹配和记录链接。