[论文解读] SANTOS: Relationship-based Semantic Table Union Search

Aamod Khatiwada, Grace Fan+5 more|arXiv (Cornell University)|Sep 27, 2022

Data Quality and Management被引用 5

一句话总结

SANTOS 提出了一种基于关系的语义表联合搜索方法，通过结合现有知识库（KB）和从数据湖内容生成的合成知识库，提升了联合可操作性检测的性能。通过使用基于图的表示方法建模列对之间的语义关系，SANTOS 在性能上超越了当前最先进方法，实现高达6倍的查询速度提升，并在准确率方面表现更优，尤其在克服现有知识库覆盖不足的问题上表现突出。

ABSTRACT

Existing techniques for unionable table search define unionability using metadata (tables must have the same or similar schemas) or column-based metrics (for example, the values in a table should be drawn from the same domain). In this work, we introduce the use of semantic relationships between pairs of columns in a table to improve the accuracy of union search. Consequently, we introduce a new notion of unionability that considers relationships between columns, together with the semantics of columns, in a principled way. To do so, we present two new methods to discover semantic relationship between pairs of columns. The first uses an existing knowledge base (KB), the second (which we call a "synthesized KB") uses knowledge from the data lake itself. We adopt an existing Table Union Search benchmark and present new (open) benchmarks that represent small and large real data lakes. We show that our new unionability search algorithm, called SANTOS, outperforms a state-of-the-art union search that uses a wide variety of column-based semantics, including word embeddings and regular expressions. We show empirically that our synthesized KB improves the accuracy of union search by representing relationship semantics that may not be contained in an available KB. This result hints at a promising future of creating a synthesized KBs from data lakes with limited KB coverage and using them for union search.

研究动机与目标

• 解决现有表联合搜索方法仅依赖列级语义或元数据所带来的局限性，此类方法常导致误报或漏报匹配。
• 通过引入列对之间的语义关系，而非仅依赖属性级相似性，提升联合可操作性检测的准确性。
• 从数据湖内容中构建合成知识库，以弥补现有手工整理知识库覆盖范围有限的问题。
• 在真实世界基准（包括小型和大型企业/公开数据湖）上评估所提方法，以验证其可扩展性与鲁棒性。
• 证明基于关系的语义方法相比仅基于列的方法，在表联合搜索的准确率与效率方面有显著提升。

提出的方法

• SANTOS 通过识别并建模列对之间的关系，利用外部知识库（如 YAGO）和从数据湖统计信息生成的合成知识库，从表中构建语义图。
• 合成知识库通过检测函数依赖（FDs）并利用单元格值推断语义关系构建，即使在外部知识库不完整时也能实现覆盖。
• 通过比较构建的语义图，使用基于图的匹配技术计算表之间的语义相似度，该技术同时考虑列语义与列间关系。
• 通过预计算并存储语义图表示，实现高效索引与查询，从而在查询时支持快速相似度搜索。
• SANTOS 整合外部 KB 与合成 KB 以提升联合可操作性评分，随着 KB 覆盖率提升，性能接近线性增长。
• 该方法设计可扩展至大规模数据湖，支持索引创建的并行化处理，并采用内存高效的语义图存储方式。

实验结果

研究问题

• RQ1 建模列对之间的语义关系是否能超越仅依赖列级语义的现有方法，显著提升表联合搜索的准确性？
• RQ2 从数据湖内容构建的合成知识库，在提升联合搜索准确率方面，与现有手工整理的知识库相比效果如何？
• RQ3 同时整合外部知识库与合成知识库，在不同规模与结构的数据湖中，对联合搜索性能的提升程度如何？
• RQ4 SANTOS 在包含数千张表的真实大规模数据湖中，其索引与查询性能的可扩展性如何？
• RQ5 与仅基于列的最先进方法 D³L 相比，SANTOS 的基于关系的方法是否在准确率与效率方面均表现更优？

主要发现

• 在 LARGE 基准测试中，尽管索引阶段慢了3倍，SANTOS 仍比最先进方法 D³L 实现高达6倍的查询速度提升。
• 使用合成知识库可提升联合搜索准确率，捕捉到现有知识库中缺失的语义关系，尤其在外部知识库覆盖有限的数据湖中效果显著。
• 在 TUS 基准测试中，SANTOS 的精确率与召回率均高于 D³L，表明其在多样化的表结构与数据类型下具有更强的鲁棒性。
• 由于采用了高效的基于图的索引机制并减少了搜索空间，SANTOS 的平均查询时间显著低于 D³L，尤其在大规模数据湖中优势明显。
• 在 LARGE 基准测试中，合成知识库的构建过程（包括 FD 检测）耗时约 17 小时 19 分钟，但可通过并行化处理显著缩短总耗时。
• 只要具备足够数据用于推断语义关系，SANTOS 即使在查询表行数较少的情况下仍能保持高性能，该表现与人类可解释性阈值一致。