[论文解读] Efficient Joinable Table Discovery in Data Lakes: A High-Dimensional Similarity-Based Approach

Yuyang Dong, Kunihiro Takeoka+2 more|arXiv (Cornell University)|Oct 26, 2020

Data Quality and Management参考文献 30被引用 10

一句话总结

本文提出 PEXESO，一种利用高维向量嵌入和基于相似度的连接操作，在数据湖中高效发现可连接表的框架。通过采用基于枢纽的过滤和分块-验证策略，PEXESO 在识别语义相似表方面显著优于等值连接和现有基于相似度的方法，在机器学习数据增强任务中实现了更高的召回率和线性可扩展性。

ABSTRACT

Finding joinable tables in data lakes is key procedure in many applications such as data integration, data augmentation, data analysis, and data market. Traditional approaches that find equi-joinable tables are unable to deal with misspellings and different formats, nor do they capture any semantic joins. In this paper, we propose PEXESO, a framework for joinable table discovery in data lakes. We embed textual values as high-dimensional vectors and join columns under similarity predicates on high-dimensional vectors, hence to address the limitations of equi-join approaches and identify more meaningful results. To efficiently find joinable tables with similarity, we propose a block-and-verify method that utilizes pivot-based filtering. A partitioning technique is developed to cope with the case when the data lake is large and the index cannot fit in main memory. An experimental evaluation on real datasets shows that our solution identifies substantially more tables than equi-joins and outperforms other similarity-based options, and the join results are useful in data enrichment for machine learning tasks. The experiments also demonstrate the efficiency of the proposed method.

研究动机与目标

• 解决基于等值连接的表发现方法在数据湖中的局限性，这些方法因拼写差异和术语异质性而无法捕捉语义相似性。
• 通过基于文本列值之间语义相似度而非精确字符串匹配的方式，实现可连接表的发现。
• 设计一种高效且可扩展的框架，支持在大规模数据湖中对高维嵌入执行相似度连接操作。
• 通过基于枢纽的过滤和基于倒排索引的验证，减少昂贵的相似度计算开销。
• 通过引入分层分区策略，支持超大规模数据湖的外部内存处理。

提出的方法

• 使用预训练嵌入（如 GloVe）将文本列中的每个记录表示为高维向量，将列转换为向量的多重集。
• 通过基于距离函数和阈值的相似度谓词定义列之间的可连接性，支持对语义相似值的模糊匹配。
• 采用分块-验证策略：首先使用基于枢纽的过滤减少搜索空间，然后仅验证有希望的候选对。
• 使用分层网格对枢纽空间进行分区，实现对超出主内存的大型数据湖的高效外部内存处理。
• 在枢纽空间上构建倒排索引，通过将距离计算次数减少到接近线性规模，加速验证过程。
• 集成动态枢纽选择机制和数据分区技术，以在不同数据规模和维度下保持性能稳定。

实验结果

研究问题

• RQ1 与传统等值连接方法相比，高维向量嵌入能否显著提升在数据湖中发现语义可连接表的能力？
• RQ2 在主内存有限的大型数据湖中，如何高效地在大规模场景下计算基于相似度的连接？
• RQ3 哪些索引和过滤策略能够在保持高召回率的同时，最小化昂贵的距离计算？
• RQ4 随着数据规模、列数和向量维度的增加，该框架的可扩展性如何？
• RQ5 该框架在提升下游机器学习任务性能方面，通过增强数据丰富性，其改善程度如何？

主要发现

• PEXESO 发现的可连接表数量远超等值连接方法，尤其在存在语义变体（如 'American Indian/Alaska Native' 与 'Mainland Indigenous'）的情况下表现更优。
• 该框架在召回率和效率方面均优于其他基于相似度的方法，尤其在 OPEN、SWDC 和 LWDC 等真实世界数据集上表现突出。
• 搜索时间和索引大小几乎随数据规模和维度线性增长，展现出强大的可扩展性，这主要得益于基于倒排索引的验证技术。
• PEXESO-H（外部内存变体）在处理大规模数据集时，搜索时间和索引大小仍保持线性增长，而其他方法则表现出超线性增长。
• 消融研究证实，枢纽选择和数据分区显著提升了性能，分块-验证策略有效减少了不必要的距离计算。
• 实验表明，PEXESO 的连接结果可显著提升机器学习模型性能，验证了其在数据增强和特征增强任务中的实用价值。