[论文解读] Geographica: A Benchmark for Geospatial RDF Stores

George Garbis, Kostis Kyzirakos+1 more|arXiv (Cornell University)|May 24, 2013

Semantic Web and Ontologies参考文献 15被引用 24

一句话总结

本文提出了 Geographica，一个针对支持 GeoSPARQL 和 stSPARQL 的地理空间 RDF 存储系统的综合性基准测试。该基准结合了现实世界的开放链接数据与合成工作负载，用于测试空间查询性能，结果表明由于对 PostGIS 的优化集成，Strabon 展现出更优的效率；而 Parliament 和 uSeekM 则因次优的查询优化策略导致性能不佳。

ABSTRACT

Geospatial extensions of SPARQL like GeoSPARQL and stSPARQL have recently been defined and corresponding geospatial RDF stores have been implemented. However, there is no widely used benchmark for evaluating geospatial RDF stores which takes into account recent advances to the state of the art in this area. In this paper, we develop a benchmark, called Geographica, which uses both real-world and synthetic data to test the offered functionality and the performance of some prominent geospatial RDF stores.

研究动机与目标

• 为填补缺乏针对支持现代标准（如 GeoSPARQL 和 stSPARQL）的地理空间 RDF 存储系统评估的标准化基准测试的空白。
• 设计一个可复现的基准测试，用于测试基础空间函数与真实世界应用场景。
• 在受控且现实的工作负载下，评估主流地理空间 RDF 存储系统——Strabon、Parliament 和 uSeekM 的性能表现。
• 识别不同系统中查询优化策略存在的性能瓶颈。
• 提供一个公开可用的基准测试套件，以支持未来对地理空间 RDF 系统的可复现评估。

提出的方法

• 开发了双工作负载基准测试：使用公开的开放链接数据的现实世界工作负载，以及可配置选择性的合成工作负载。
• 设计了微基准测试以评估非拓扑函数、空间选择、连接操作与聚合函数；设计了宏基准测试以模拟反向地理编码与地球观测等用例。
• 使用查询模板生成器，生成具有不同主题与空间选择性的 SPARQL 查询，参数化设置包括数据集大小与特征阈值。
• 在真实系统中实现该基准测试：Strabon（基于 PostGIS）、Parliament 和 uSeekM，从而支持跨系统比较。
• 在受控条件下执行查询，设置一小时超时时间，并测量不同数据规模与选择性水平下的响应时间。
• 分析查询执行计划与系统行为，以解释性能差异，特别是索引使用与连接策略方面。

实验结果

研究问题

• RQ1 在来自 LOD 云的现实世界地理空间工作负载下，地理空间 RDF 存储系统的性能表现如何？
• RQ2 主题选择性与空间选择性在多大程度上影响不同地理空间 RDF 系统中的查询响应时间？
• RQ3 查询优化策略（尤其是索引使用与连接规划）如何影响 Strabon、Parliament 和 uSeekM 等系统中的性能表现？
• RQ4 合成工作负载能否有效模拟真实世界性能特征，以用于地理空间 RDF 存储系统的基准测试？
• RQ5 为何某些系统无法在合理时间内完成复杂的空间连接操作？其架构选择导致此类低效的原因是什么？

主要发现

• 由于有效利用 PostGIS 空间索引与优化的查询计划，Strabon 在几乎所有查询类型中均优于 Parliament 和 uSeekM。
• 当空间选择性较高时（例如，所有几何对象均满足谓词条件），Strabon 的 Postgres 优化器会从索引扫描切换为全表扫描，但仍保持良好的性能表现。
• 在主题选择性较低时（例如，512 个特征中仅 1 个满足条件），Strabon 通过早期应用主题过滤并利用选择性索引，实现了快速响应时间。
• Parliament 的策略是优先评估非空间条件，导致性能始终一致但表现较差，尤其在空间连接操作中，多数查询在一小时超时内未能完成。
• uSeekM 的性能对主题选择性不敏感，但随着空间结果集增大而显著下降，因其在物化中间结果后才评估空间谓词。
• 在一种情形下（THEMA=1 的空间连接），uSeekM 的性能优于 Strabon，原因是 Strabon 的空间连接执行存在设计缺陷，导致其在过滤前处理了无关的几何对象（如接触土地所有权的几何体）。