[论文解读] A Critical Re-evaluation of Benchmark Datasets for (Deep) Learning-Based Matching Algorithms

George Papadakis, Nishadi Kirielle+2 more|arXiv (Cornell University)|Jul 3, 2023

Data Quality and Management被引用 6

一句话总结

本文对基于深度学习的匹配算法所用基准数据集进行了批判性评估，揭示了大多数数据集因高度线性和低复杂度而过于简单。本文提出一种双重方法：结合理论上的线性度与复杂度度量，以及线性与非线性模型之间的实际性能差距，以识别不合适的基准数据集，并提出一种新框架，用于生成更具挑战性、更贴近现实的未来研究数据集。

ABSTRACT

Entity resolution (ER) is the process of identifying records that refer to the same entities within one or across multiple databases. Numerous techniques have been developed to tackle ER challenges over the years, with recent emphasis placed on machine and deep learning methods for the matching phase. However, the quality of the benchmark datasets typically used in the experimental evaluations of learning-based matching algorithms has not been examined in the literature. To cover this gap, we propose four different approaches to assessing the difficulty and appropriateness of 13 established datasets: two theoretical approaches, which involve new measures of linearity and existing measures of complexity, and two practical approaches: the difference between the best non-linear and linear matchers, as well as the difference between the best learning-based matcher and the perfect oracle. Our analysis demonstrates that most of the popular datasets pose rather easy classification tasks. As a result, they are not suitable for properly evaluating learning-based matching algorithms. To address this issue, we propose a new methodology for yielding benchmark datasets. We put it into practice by creating four new matching tasks, and we verify that these new benchmarks are more challenging and therefore more suitable for further advancements in the field.

研究动机与目标

• 解决在基于深度学习的匹配算法中对基准数据集缺乏严格评估的问题。
• 识别为何许多广泛使用数据集无法有效评估复杂、非线性学习型匹配方法的性能。
• 基于理论与实证度量，建立一种系统化的数据集难度评估框架。
• 创建新的、更具挑战性的基准数据集，以更好地反映现实世界中的实体解析挑战。
• 推动使用更高品质的基准数据集，以实现对基于深度学习的匹配技术进步的有意义评估。

提出的方法

• 提出两种理论性、先验性度量：一种新颖的线性度评分，用于量化候选对的可分性；以及首次应用于实体解析基准数据集的现有复杂度度量。
• 引入两种后验性、实证度量：最佳非线性分类器与线性分类器之间的性能差距，以及最佳学习型匹配器与理想完美预言机之间的差距。
• 采用七种开源的非线性机器学习/深度学习匹配算法，并引入新的线性基线模型，以估计简单模型的性能上限。
• 将该框架应用于13个已确立的基准数据集，通过理论与实际评估指标分析其难度。
• 通过调整阻断策略与数据特征，系统性地生成四个更具挑战性的新型匹配任务。
• 通过Docker镜像提供完整的方法论、代码与新数据集，以确保可复现性与社区采纳。

Figure 1. Degree of linearity per dataset in Table 3 (left) and the respective threshold (right) with respect to Equations 1 and 2 .

实验结果

研究问题

• RQ1 基于理论与实证度量，现有基于深度学习的匹配算法基准数据集在多大程度上真正具有挑战性？
• RQ2 在线性与非线性匹配算法之间，性能差距在现有基准数据集中如何变化？
• RQ3 在当前基准数据集中，最先进学习型匹配器与完美预言机之间的性能差距有多大？
• RQ4 是否能通过系统性方法生成更适合评估复杂、非线性匹配算法的新基准数据集？
• RQ5 哪些数据集特征使其不适合用于评估基于深度学习的匹配方法？

主要发现

• 广泛使用的实体解析基准数据集几乎具有线性可分性，导致基于深度学习的匹配算法难以展示有意义的性能提升。
• 在大多数现有数据集中，最佳非线性匹配器与线性基线之间的性能差距极小，表明模型复杂度提升的空间有限。
• 在大多数基准数据集中，最佳学习型匹配器与完美预言机之间的性能差距较小，表明当前数据集未能充分测试深度学习模型的全部潜力。
• 所提出的框架成功生成了四个更具挑战性的新基准数据集，其复杂度更高、线性度更低。
• 训练与预测时间差异显著：基于阈值的基线模型最快（每数据集不到1秒），而DITTO最慢（40个周期内约219秒），凸显了效率上的权衡。
• 新基准数据集展现出更贴近现实的难度分布，具有更高的不平衡比率与更强的非线性建模需求，使其适用于未来先进匹配算法的评估。

Figure 3. Practical measures per dataset in Table 3 .