[论文解读] Auto-FuzzyJoin: Auto-Program Fuzzy Similarity Joins Without Labeled Examples

Peng Li, Xiang Cheng+3 more|arXiv (Cornell University)|Mar 7, 2021

Data Quality and Management参考文献 41被引用 7

一句话总结

Auto-FuzzyJoin 是一种无监督框架，可自动为实体解析生成高质量的模糊连接程序，且无需标注数据。它采用距离函数的几何解释，并利用一个输入表作为参考来优化参数，在实现精度目标的同时最大化召回率——其性能优于所有无监督和有监督基线方法，包括使用 50% 标注数据的方法。

ABSTRACT

Fuzzy similarity join is an important database operator widely used in practice. So far the research community has focused exclusively on optimizing fuzzy join extit{scalability}. However, practitioners today also struggle to optimize fuzzy-join extit{quality}, because they face a daunting space of parameters (e.g., distance-functions, distance-thresholds, tokenization-options, etc.), and often have to resort to a manual trial-and-error approach to program these parameters in order to optimize fuzzy-join quality. This key challenge of automatically generating high-quality fuzzy-join programs has received surprisingly little attention thus far. In this work, we study the problem of "auto-program" fuzzy-joins. Leveraging a geometric interpretation of distance-functions, we develop an unsupervised extsc{Auto-FuzzyJoin} framework that can infer suitable fuzzy-join programs on given input tables, without requiring explicit human input such as labeled training data. Using extsc{Auto-FuzzyJoin}, users only need to provide two input tables $L$ and $R$, and a desired precision target $τ$ (say 0.9). extsc{Auto-FuzzyJoin} leverages the fact that one of the input is a reference table to automatically program fuzzy-joins that meet the precision target $τ$ in expectation, while maximizing fuzzy-join recall (defined as the number of correctly joined records). Experiments on both existing benchmarks and a new benchmark with 50 fuzzy-join tasks created from Wikipedia data suggest that the proposed extsc{Auto-FuzzyJoin} significantly outperforms existing unsupervised approaches, and is surprisingly competitive even against supervised approaches (e.g., Magellan and DeepMatcher) when 50\% of ground-truth labels are used as training data.

研究动机与目标

• 为解决模糊连接配置中日益突出的可用性挑战，即从业者面临庞大且无指导的参数空间。
• 开发一种无监督方法，自动为输入表生成定制化的模糊连接程序，从而消除对标注训练数据的需求。
• 在不依赖人工标注示例的前提下，通过在用户定义的精度约束下最大化召回率来优化模糊连接质量。
• 构建一种可扩展、可泛化的解决方案，能够适应多种数据类型和结构，包括多列和噪声数据。

提出的方法

• 该框架从几何角度处理距离函数，将它们建模为向量空间，以推断最优的参数组合。
• 它使用一个输入表作为参考，以估计真实匹配的分布并指导参数搜索。
• 构建一个约束优化问题，以在确保预期精度达到目标 τ 的前提下最大化召回率。
• 通过几何聚类和距离敏感性分析，自动执行列选择与加权。
• 该方法动态选择相关列并根据其在区分匹配与非匹配中的贡献分配权重。
• 它在参数空间（分词方式、距离函数、阈值）上采用基于几何特性与参考表结构的搜索策略。

实验结果

研究问题

• RQ1 无监督方法能否在无需任何标注示例的情况下自动生成高质量的模糊连接程序？
• RQ2 与使用 50% 标注数据的有监督方法相比，无监督方法的性能如何？
• RQ3 该框架能否在无任何人工输入的情况下有效选择信息丰富的列并分配最优权重？
• RQ4 该方法在输入表中包含无关或随机列时的鲁棒性如何？
• RQ5 利用参考表在多大程度上提升了参数配置与连接质量？

主要发现

• 在多列数据集上，Auto-FuzzyJoin 的平均 PR-AUC 达到 0.89，显著优于所有无监督基线方法，并与最佳有监督方法相当。
• 与 Excel（最强的无监督基线）相比，其召回率提高了 0.13；与 AL（使用 50% 标注数据的有监督方法）相比，提高了 0.014。
• 即使在添加随机列的情况下，该方法仍保持高性能，表现出良好的鲁棒性，而 Excel 和 AL 的性能则出现下降。
• 在大多数情况下，Auto-FuzzyJoin 仅选择了 1 至 2 个信息丰富的列（例如：Name、Director），显示出有效的列选择能力。
• 统计检验结果确认了显著性：与所有无监督基线方法比较的 p 值均低于 0.034，表明结果具有高度置信度。
• 在 8 个数据集中的 2 个上，Auto-FuzzyJoin 达到了最高的 PR-AUC；在其余数据集上，其性能也紧随最佳方法，差距极小。