[论文解读] Improving Entity Resolution with Global Constraints

Jim Gemmell, Benjamin I. P. Rubinstein+1 more|arXiv (Cornell University)|Aug 30, 2011

Data Quality and Management参考文献 24被引用 11

一句话总结

本文提出了一种用于实体消歧的全局一对一约束，该约束利用网站避免重复实体的经济社会动机，显著提升了准确率和鲁棒性。通过在大规模电影实体消歧任务中应用受限匹配——尤其是非最大权重算法——该方法在保持高精度的同时，召回率比众包基准高出三倍以上，在病态情况下也优于最大权重匹配。

ABSTRACT

Some of the greatest advances in web search have come from leveraging socio-economic properties of online user behavior. Past advances include PageRank, anchor text, hubs-authorities, and TF-IDF. In this paper, we investigate another socio-economic property that, to our knowledge, has not yet been exploited: sites that create lists of entities, such as IMDB and Netflix, have an incentive to avoid gratuitous duplicates. We leverage this property to resolve entities across the different web sites, and find that we can obtain substantial improvements in resolution accuracy. This improvement in accuracy also translates into robustness, which often reduces the amount of training data that must be labeled for comparing entities across many sites. Furthermore, the technique provides robustness when resolving sites that have some duplicates, even without first removing these duplicates. We present algorithms with very strong precision and recall, and show that max weight matching, while appearing to be a natural choice turns out to have poor performance in some situations. The presented techniques are now being used in the back-end entity resolution system at a major Internet search engine.

研究动机与目标

• 通过利用网站避免随意重复的经济社会动机，提升实体消歧的准确率。
• 开发一种通用且鲁棒的框架，通过引入全局一对一约束来增强现有实体消歧方法。
• 评估受限实体消歧在 IMDB、Netflix、iTunes 和 AMG 等大规模真实世界数据上的影响。
• 证明最大权重匹配并非实体消歧的最优方法，并在关键情况下可能失效。
• 表明受限实体消歧对评分函数调优不佳具有鲁棒性，可减少标注工作量。

提出的方法

• 利用网站避免重复实体（如电影或专辑）的全局一对一约束，指导跨源的消歧过程。
• 采用加权图匹配来解决实体消歧问题，但表明最大化总权重并不总能优化准确率或召回率。
• 采用两步流程：先通过阻塞和逻辑回归进行特征评分，再进行受限匹配。
• 使用主动学习以最少的标注数据训练评分组合器。
• 比较多种元算法：一对一、一对多和无约束的多对多匹配。
• 使用众包的 Freebase 数据集和大规模真实世界电影目录评估性能。

实验结果

研究问题

• RQ1 源自网站动机的全局一对一约束是否能显著提升实体消歧的准确率？
• RQ2 最大权重匹配是否始终能优化实体消歧中的准确率和召回率？该方法是否存在根本性缺陷？
• RQ3 当评分函数调优不佳或源数据中存在重复时，受限实体消歧的表现如何？
• RQ4 是否可以将一种通用的、基于约束的框架应用于多样化的数据源，且仅需极少再训练？
• RQ5 在实体消歧中，匹配权重与实际准确率/召回率之间存在何种关系？

主要发现

• 所提出的基于一对一约束的实体消歧框架在保持或提升准确率的同时，召回率比高精度的众包 Freebase 基准高出三倍以上。
• 最大权重匹配在病态情况下表现不佳——例如当附加内容和正片电影几乎无法区分时——导致大量假阳性和假阴性。
• 受限实体消歧对评分组合器调优不佳具有鲁棒性，显著降低了在集成新源时对大量标注训练数据的需求。
• 该框架在头部和尾部电影上均提升了性能，表明在整个数据分布上均实现了稳定增益。
• 研究发现，最大化匹配权重并非优化准确率和召回率的可靠代理，表明当前图匹配方法在实体消歧中存在根本性脱节。
• 该系统现已在一家主要互联网搜索引擎中投入生产，用于支持如“租用”、“观看”和“购买”等实体操作。