[论文解读] Creating and Querying Personalized Versions of Wikidata on a Laptop

Hans Chalupsky, Pedro Szekely+3 more|arXiv (Cornell University)|Aug 6, 2021

Semantic Web and Ontologies参考文献 4被引用 6

一句话总结

本文介绍了 Kypher，这是 KGTK 工具包中一种轻量级查询语言及其处理器，使用户能够在标准笔记本电脑上创建个性化的、可查询的 Wikidata 版本。通过使用紧凑的表格化 KGTK 数据模型和优化的 SQLite 存储，Kypher 执行复杂的大规模知识图谱查询速度比公共 SPARQL 端点快达 10 倍，使无需高端基础设施即可进行高级分析成为可能。

ABSTRACT

Application developers today have three choices for exploiting the knowledge present in Wikidata: they can download the Wikidata dumps in JSON or RDF format, they can use the Wikidata API to get data about individual entities, or they can use the Wikidata SPARQL endpoint. None of these methods can support complex, yet common, query use cases, such as retrieval of large amounts of data or aggregations over large fractions of Wikidata. This paper introduces KGTK Kypher, a query language and processor that allows users to create personalized variants of Wikidata on a laptop. We present several use cases that illustrate the types of analyses that Kypher enables users to run on the full Wikidata KG on a laptop, combining data from external resources such as DBpedia. The Kypher queries for these use cases run much faster on a laptop than the equivalent SPARQL queries on a Wikidata clone running on a powerful server with 24h time-out limits.

研究动机与目标

• 解决现有 Wikidata 访问方法的局限性，例如 SPARQL 端点存在 5 分钟超时限制，或需要大型服务器加载 RDF 数据，这些限制阻碍了复杂的大规模查询。
• 使研究人员和开发者能够在个人笔记本电脑上运行计算密集型的知识图谱分析，而无需依赖高性能服务器或云基础设施。
• 通过允许用户整合 DBpedia 等外部数据集，创建自定义扩展的知识图谱，从而实现对 Wikidata 的民主化访问。
• 证明即使在普通硬件上，Kypher 在分析工作负载中也能超越公共 SPARQL 端点的查询性能。

提出的方法

• 使用制表符分隔的边格式（头、边标签、尾、边 ID）将 Wikidata 表示为 KGTK 知识图谱，相比 RDF 减少了数据膨胀。
• 使用 KGTK 的导入和转换管道将 Wikidata 和 DBpedia 数据加载到本地 SQLite 数据库中，实现高效查询。
• 将 Kypher 实现为针对 KGTK 的超关系模型定制的 Cypher 子集，支持在大规模图子集上进行模式匹配和聚合。
• 通过紧凑存储（142GB 对比 SPARQL 的 718GB）、聚焦索引和只读执行（无更新开销）来优化查询性能。
• 使用 Jupyter 笔记本执行并基准测试 Kypher 查询，通过预建索引加速重复运行。
• 在受控条件下，将笔记本电脑上的 Kypher 性能与本地 Wikidata 副本上的 SPARQL 查询以及公共 Wikidata SPARQL 端点的性能进行比较。

实验结果

研究问题

• RQ1 Kypher 是否能够支持超过公共 SPARQL 端点 5 分钟超时限制的复杂、大规模 Wikidata 查询？
• RQ2 能否在笔记本电脑上高效创建并查询结合 Wikidata 和外部数据源（如 DBpedia）的个性化、扩展知识图谱？
• RQ3 在完整 Wikidata 子集上执行分析查询时，Kypher 的性能与 SPARQL 端点相比如何？
• RQ4 KGTK 和 Kypher 中哪些架构选择促成了在低资源硬件上的卓越性能？

主要发现

• Kypher 在 32GB 笔记本电脑上完成对完整 Wikidata 的复杂查询耗时不足 2 小时，而同等 SPARQL 查询在 24 小时服务器上会因超时而无法完成。
• 首次运行包含 Kypher 的 Jupyter 笔记本耗时 349 分钟（5.8 小时），但第二次运行因数据和索引已预加载，仅耗时 164 分钟（2.7 小时），显示出初始设置后的显著性能提升。
• 对于相同查询，Kypher 相较于公共 Wikidata SPARQL 端点实现了 5 倍性能提升，部分用例在笔记本电脑上几分钟内完成，而服务器上则需数小时。
• 紧凑的 KGTK 数据模型将存储大小从 SPARQL 的 718GB 降低至 Kypher 的 142GB，提升了 I/O 局部性和缓存效率。
• 对图片如 P279star 的专用索引实现了更快的重用和更高效的查询执行，优于通用三元组存储。
• Kypher 的只读设计消除了事务更新的性能开销，使其在分析工作负载中比通用 SPARQL 端点更快。