[论文解读] Graph-based keyword search in heterogeneous data sources

Mhd Yamen Haddad, Angelos‐Christos G. Anadiotis+2 more|arXiv (Cornell University)|Sep 9, 2020

Data Management and Algorithms参考文献 29被引用 4

一句话总结

本文提出了一种基于图的关键词搜索算法，用于异构数据源，将多种数据类型（关系型、文本、JSON、RDF）建模为统一图，通过双向边和sameAs链接实现实体匹配。该方法使用户能够在不了解模式或边方向的情况下发现跨数据集的连接，同时保留数据源的来源信息，并支持灵活的评分机制——这是首个实现此类集成异构关键词搜索并保留来源信息的解决方案。

ABSTRACT

Data journalism is the field of investigative journalism which focuses on digital data by treating them as first-class citizens. Following the trends in human activity, which leaves strong digital traces, data journalism becomes increasingly important. However, as the number and the diversity of data sources increase, heterogeneous data models with different structure, or even no structure at all, need to be considered in query answering. Inspired by our collaboration with Le Monde, a leading French newspaper, we designed a novel query algorithm for exploiting such heterogeneous corpora through keyword search. We model our underlying data as graphs and, given a set of search terms, our algorithm nds links between them within and across the heterogeneous datasets included in the graph. We draw inspiration from prior work on keyword search in structured and unstructured data, which we extend with the data heterogeneity dimension, which makes the keyword search problem computationally harder. We implement our algorithm and we evaluate its performance using synthetic and real-world datasets.

研究动机与目标

• 解决在调查性新闻中统一查询多样化、异构数据源（关系型、文本、JSON、RDF）的挑战。
• 在无需用户了解模式或边方向的情况下，实现跨多种数据模型的关键词搜索。
• 通过保留每个数据源的原始节点身份，维护原始数据来源的可追溯性。
• 支持灵活的评分机制，不假设评分函数具有特定属性，这对非专家用户至关重要。
• 设计一种可扩展的算法，以在异构数据集中发现关键词之间的有意义连接。

提出的方法

• 将所有异构数据源建模为一个统一的集成图，保留原始节点身份和数据源来源信息。
• 使用双向边遍历机制，使查询可沿任意方向跟随边，无论其在原始数据模型中的方向如何。
• 通过sameAs链接连接不同数据源中语义等价的实体，链接置信度分数在0到1之间。
• 实现一种受先前图关键词搜索启发的“生长与合并”算法，针对双向遍历和异构数据进行适配。
• 通过置信度分数支持不确定边，使结果构建过程具备概率推理能力。
• 避免对评分函数做出假设，以保持对现实世界用户需求的灵活性，尤其适用于数据新闻场景。

实验结果

研究问题

• RQ1 如何在无共享模式或结构的异构数据源之间有效执行关键词搜索？
• RQ2 如何在将多个数据源整合为单一可查询图时，保持数据来源的可追溯性？
• RQ3 何种算法方法可实现在不了解数据模型方向的前提下，对边进行双向遍历？
• RQ4 如何有效利用通过sameAs链接获得的不确定实体匹配来构建查询答案？
• RQ5 如何在不假设评分函数具有有利属性的前提下，保持搜索算法的可扩展性与高效性？

主要发现

• 所提出的算法成功检索到关键词之间的跨数据集连接，即使边的遍历方向与原始模型相反。
• 通过保留每个数据源的原始节点身份，方法有效维护了数据来源的可追溯性。
• 该方法在不依赖评分函数强假设的前提下，有效支持了不确定链接（通过置信度分数），显著提升了非专家用户的可用性。
• 在合成数据集和真实世界数据集上的评估表明，尽管双向异构搜索具有较高的计算复杂度，该算法仍表现出良好的可扩展性。
• 与现有工作相比，该解决方案通过支持跨越多种数据模型的答案，实现了性能超越——这是现有关键词搜索系统所不支持的。
• 该系统与《世界报》事实核查团队合作完成验证，证明其在数据新闻领域具有实际应用价值。