[论文解读] Optimizing Federated Queries Based on the Physical Design of a Data Lake

Philipp D. Rohde, María-Esther Vidal|arXiv (Cornell University)|Feb 19, 2020

Semantic Web and Ontologies参考文献 23被引用 5

一句话总结

本文提出了一种针对语义数据湖中联邦SPARQL查询的源特定启发式优化方法，通过利用底层数据源的物理设计（尤其是关系型数据库）来提升性能。通过结合索引感知与查询引擎级优化，将连接和过滤操作下推至数据源，该方法相比忽略物理模式细节的最先进引擎，显著减少了执行时间。

ABSTRACT

The optimization of query execution plans is known to be crucial for reducing the query execution time. In particular, query optimization has been studied thoroughly for relational databases over the past decades. Recently, the Resource Description Framework (RDF) became popular for publishing data on the Web. As a consequence, federations composed of different data models like RDF and relational databases evolved. One type of these federations are Semantic Data Lakes where every data source is kept in its original data model and semantically annotated with ontologies or controlled vocabularies. However, state-of-the-art query engines for federated query processing over Semantic Data Lakes often rely on optimization techniques tailored for RDF. In this paper, we present query optimization techniques guided by heuristics that take the physical design of a Data Lake into account. The heuristics are implemented on top of Ontario, a SPARQL query engine for Semantic Data Lakes. Using source-specific heuristics, the query engine is able to generate more efficient query execution plans by exploiting the knowledge about indexes and normalization in relational databases. We show that heuristics which take the physical design of the Data Lake into account are able to speed up query processing.

研究动机与目标

• 解决现有查询引擎缺乏对物理设计感知而导致语义数据湖中联邦查询处理效率低下的问题。
• 通过整合关系型数据库模式的源特定知识（包括索引和规范化）来提升查询执行效率。
• 证明考虑物理设计（尤其是索引）能够生成比通用或RDF优化方法更高效的查询执行计划。
• 扩展Ontario SPARQL查询引擎，引入启发式方法，在可能的情况下将操作下推至数据源，以生成更优的查询执行计划。
• 研究物理设计对联邦环境中查询性能的影响，尤其关注在规范化关系表上的星型子查询。

提出的方法

• 将源特定启发式方法集成至Ontario SPARQL查询引擎，该引擎原生支持异构数据模型上的联邦查询处理。
• 应用启发式1（连接下推）：若同一关系型数据库端点上的星型子查询共享一个已建立索引的连接属性，则在数据源层面合并这些子查询，从而减少跨源通信。
• 应用启发式2（过滤下推）：若过滤属性已建立索引，则将过滤操作下推至数据源；否则在查询引擎层面执行过滤。
• 使用RDF分子模板（RDF-MTs）建模实体类，并指导子查询分解为星型模式，以实现高效处理。
• 利用ANAPSID中的物理算子和基于代价的估算方法，提升执行计划生成质量并减少中间结果大小。
• 将SPARQL子查询转换为关系型数据源的原生SQL，同时保留基于模式统计信息和索引的优化机会。

实验结果

研究问题

• RQ1 通过引入对物理数据库设计（如索引和规范化）的了解，能否提升语义数据湖中的查询优化效果？
• RQ2 基于已索引属性的连接下推，在关系型与RDF数据源上的联邦SPARQL查询中，对查询执行时间有何影响？
• RQ3 当过滤属性被索引时，过滤下推策略在性能提升方面有多大程度的改善？与未索引情况相比如何？
• RQ4 关系型表的物理设计（如3NF规范化、主键使用）如何影响联邦查询执行计划的效率？
• RQ5 在异构数据湖环境中，与通用或RDF优化的查询优化相比，使用源特定启发式方法的性能影响如何？

主要发现

• 所提出的启发式方法充分考虑了关系型数据库的物理设计，其生成的查询执行计划比忽略此类细节的最先进引擎更高效。
• 当连接属性被索引时，连接下推有效，使查询引擎能够在数据源层面合并子查询，从而减少引擎端的操作数量。
• 仅当过滤属性被索引时，过滤下推才具有优势；否则在查询引擎层面执行过滤更为高效，因为中间结果过大。
• 使用主键作为主体的规范化关系表上的星型子查询，可显著提升查询优化潜力，此结论已有先前研究支持。
• 查询性能不仅受物理设计和网络条件影响，还取决于查询引擎和包装器的实现方式，表明优化具有上下文依赖性。
• 即使在早期实现阶段，该启发式方法也展现出可测量的性能提升，表明对物理设计的感知是未来数据湖优化的可行路径。