[论文解读] Fedra: Query Processing for SPARQL Federations with Divergence

Gabriela Montoya, Hala Skaf‐Molli+2 more|arXiv (Cornell University)|Jul 10, 2014

Semantic Web and Ontologies参考文献 11被引用 5

一句话总结

Fedra 是一种用于 SPARQL 联邦的源选择策略，通过利用数据复制和 provenance 元数据，在控制结果偏差的同时减少查询的端点数量。通过使用 SPARQL 视图、provenance 跟踪和时间戳，Fedra 相较于传统的联邦引擎（如 FedX），在用户定义的偏差阈值范围内即使存在过时数据，也能将查询执行时间提升多达三个数量级。

ABSTRACT

Data replication and deployment of local SPARQL endpoints improve scalability and availability of public SPARQL endpoints, making the consumption of Linked Data a reality. This solution requires synchronization and specific query processing strategies to take advantage of replication. However, existing replication aware techniques in federations of SPARQL endpoints do not consider data dynamicity. We propose Fedra, an approach for querying federations of endpoints that benefits from replication. Participants in Fedra federations can copy fragments of data from several datasets, and describe them using provenance and views. These descriptions enable Fedra to reduce the number of selected endpoints while satisfying user divergence requirements. Experiments on real-world datasets suggest savings of up to three orders of magnitude.

研究动机与目标

• 解决由于不可靠的公共端点导致的 SPARQL 联邦在可扩展性和可用性方面的限制。
• 使联邦查询引擎能够利用跨端点的机遇性数据复制，同时不牺牲结果的新鲜度。
• 在限制结果与原始数据偏差的前提下，减少每个查询所接触的端点数量。
• 提供一种轻量级、动态感知的源选择机制，避免频繁重新计算汇总信息。
• 在数据可能在端点间过时或重复的联邦环境中，支持高效的查询处理。

提出的方法

• Fedra 中的端点使用 SPARQL CONSTRUCT 查询描述其数据，这些查询定义了可重用的视图片段。
• 每个片段都附带 provenance 信息和一个时间戳，用以指示其相对于原始数据源的新鲜度。
• Fedra 源选择算法计算满足用户定义偏差阈值的最小端点集合。
• 通过时间戳衡量偏差，控制结果可以多“过时”，从而在新鲜度与性能之间实现权衡。
• 该方法通过基于所选源过滤端点列表，与现有联邦查询引擎（如 FedX）集成。
• 该系统支持重叠和包含的片段，从而能够高效地修剪冗余或过时的源。

实验结果

研究问题

• RQ1 联邦 SPARQL 查询处理如何利用数据复制来提升性能和可用性？
• RQ2 在副本间存在数据偏差的情况下，哪些机制能够实现高效的源选择？
• RQ3 provenance 和时间戳元数据能否在不损害结果质量的前提下减少所接触的端点数量？
• RQ4 与现有方法（如 DAW）相比，Fedra 的偏差控制机制在性能和新鲜度保障方面表现如何？
• RQ5 Fedra 的源选择对真实世界联邦工作负载中查询执行时间的影响是什么？

主要发现

• 与 FedX 相比，Fedra 在真实世界 DBpedia 查询中将执行时间减少了多达三个数量级（例如，从 1529.6 秒减少到 32.0 秒）。
• 在 75% 的查询中，Fedra 实现了显著的性能提升，部分情况下执行时间减少至 FedX 的 10% 以下。
• Fedra 的源选择时间略高于 DAW，但在大多数查询中始终低于 FedX，同时性能表现远超二者。
• 在最坏情况下，Fedra 的执行时间仍受控且优于 FedX，即使查询计划优化程度较低。
• 通过使用 provenance 和时间戳，Fedra 实现了新鲜度控制，而无需频繁重新计算汇总信息，这与 DAW 不同。
• 该方法表明，通过在片段级别控制偏差，即使在数据过时的情况下也能实现高效的查询处理，从而提升可扩展性和可用性。