[论文解读] Flexible Models for Microclustering with Application to Entity Resolution

Giacomo Zanella, Brenda Betancourt+4 more|arXiv (Cornell University)|Oct 31, 2016

Data Quality and Management参考文献 15被引用 12

一句话总结

本文提出了一类新型的灵活聚类模型——KP模型，其具备微观聚类特性，即聚类规模随数据规模增长呈次线性关系，使其特别适用于实体消解任务。所提出的NBNB与NBD模型在四个真实世界数据集上的实体消解任务中，优于传统的无限可交换模型（DP、PYP），表现出更低的漏检率与误报率。

ABSTRACT

Most generative models for clustering implicitly assume that the number of data points in each cluster grows linearly with the total number of data points. Finite mixture models, Dirichlet process mixture models, and Pitman--Yor process mixture models make this assumption, as do all other infinitely exchangeable clustering models. However, for some applications, this assumption is inappropriate. For example, when performing entity resolution, the size of each cluster should be unrelated to the size of the data set, and each cluster should contain a negligible fraction of the total number of data points. These applications require models that yield clusters whose sizes grow sublinearly with the size of the data set. We address this requirement by defining the microclustering property and introducing a new class of models that can exhibit this property. We compare models within this class to two commonly used clustering models using four entity-resolution data sets.

研究动机与目标

• 解决标准聚类模型假设聚类规模随数据规模线性增长的局限性。
• 定义并形式化微观聚类特性，作为实体消解等应用场景的需求，即聚类规模应保持较小且呈次线性增长。
• 构建一个灵活的模型类别（KP模型），可在保持计算可处理性的同时展现微观聚类特性。
• 在真实世界数据集上，通过实体消解任务评估新模型与标准无限可交换模型（DP、PYP）的性能表现。
• 证明微观聚类模型可降低实体消解中的漏检率与误报率，尤其在噪声较大或数据稀疏的条件下表现更优。

提出的方法

• 定义微观聚类特性：最大聚类规模随数据规模增长呈次线性关系（即当N→∞时，M_N / N → 0 概率收敛）。
• 提出一类新型模型——KP模型，基于对划分的灵活先验，实现次线性聚类规模增长。
• 提出两个具体实现：NBNB（负二项分布-狄利克雷）与NBD（负二项分布-离散）模型，其对聚类规模采用灵活先验。
• 采用类似中国餐馆过程的构造方式，结合能诱导次线性聚类规模增长的随机测度，区别于标准DP/PYP的构造方式。
• 通过MCMC或变分方法实现后验推断，以估计聚类分配与模型参数。
• 通过建模记录相似性并估计潜在实体聚类，将模型整合进实体消解框架中。

实验结果

研究问题

• RQ1 能否构建一种聚类模型，使其聚类规模随数据规模增长呈次线性关系，从而满足微观聚类特性？
• RQ2 展现微观聚类特性的模型在实体消解任务中，相较于标准无限可交换模型（如DP与PYP）表现如何？
• RQ3 微观聚类对关键实体消解指标（如漏检率、误报率与期望F1分数）有何影响？
• RQ4 在不同数据集上，NBNB与NBD模型在估计真实实体数量（K）与参数δ（链接阈值）方面，相较于DP与PYP表现如何？
• RQ5 对聚类规模采用灵活先验是否能提升在噪声较大或数据稀疏的实体消解场景下的鲁棒性？

主要发现

• NBNB与NBD模型成功展现出微观聚类特性，聚类规模呈次线性增长，而DP与PYP模型则不具备此特性。
• 在Italy数据集上，NBD模型的漏检率为0.01（δ=0.02），误报率为0.09，优于DP与PYP模型。
• 在Syria2000数据集上，NBD模型的漏检率为0.67（δ=0.02），误报率为0.28，而DP模型分别为0.70与0.27，表现相当或更优。
• 在SyriaSizes数据集上（δ=0.1），NBD模型估计出3,863.9个实体（真实K=4,075），漏检率为0.75，误报率为0.22，在F1与FDR指标上优于DP与PYP模型。
• 在Syria2000数据集上，NBD模型在δ=0.1时的后验期望δ值最低（0.03），表明其与真实链接阈值更吻合。
• 在所有数据集上，NBNB与NBD模型始终表现出低于DP与PYP的漏检率与误报率，尤其在高噪声条件（δ=0.1）下表现更优，显示出对数据退化更强的鲁棒性。