[论文解读] Apache VXQuery: A Scalable XQuery Implementation

E. Preston Carman, Till Westmann+3 more|arXiv (Cornell University)|Apr 1, 2015

Cloud Computing and Resource Management参考文献 16被引用 9

一句话总结

Apache VXQuery 是一个可扩展的开源 XQuery 处理器，基于 Hyracks 和 Algebricks 构建，能够在大型 XML 数据集上高效并行执行 XQuery 工作负载。在单节点系统上，其性能比 Saxon 快约 3 倍；在集群部署中，比 Apache MRQL 快 2.5 倍，通过先进的优化规则和基于数据流的并行处理，实现了对路径表达式和连接操作的高效处理。

ABSTRACT

The wide use of XML for document management and data exchange has created the need to query large repositories of XML data. To efficiently query such large data collections and take advantage of parallelism, we have implemented Apache VXQuery, an open-source scalable XQuery processor. The system builds upon two other open-source frameworks -- Hyracks, a parallel execution engine, and Algebricks, a language agnostic compiler toolbox. Apache VXQuery extends these two frameworks and provides an implementation of the XQuery specifics (data model, data-model dependent functions and optimizations, and a parser). We describe the architecture of Apache VXQuery, its integration with Hyracks and Algebricks, and the XQuery optimization rules applied to the query plan to improve path expression efficiency and to enable query parallelism. An experimental evaluation using a real 500GB dataset with various selection, aggregation and join XML queries shows that Apache VXQuery performs well both in terms of scale-up and speed-up. Our experiments show that it is about 3x faster than Saxon (an open-source and commercial XQuery processor) on a 4-core, single node implementation, and around 2.5x faster than Apache MRQL (a MapReduce-based parallel query processor) on an eight (4-core) node cluster.

研究动机与目标

• 解决缺乏可扩展、并行 XQuery 处理器的问题，以高效查询大型 XML 存储库。
• 构建一个高性能的 XQuery 处理器，利用现代基于数据流的执行引擎实现并行处理与优化。
• 扩展现有框架——Hyracks 和 Algebricks——以支持 XQuery 特定的数据模型、解析器和优化规则。
• 在真实世界的大规模 XML 工作负载（最大达 500GB）上评估 VXQuery 的性能，包括加速比和可扩展性。
• 证明基于数据流的方法优于基于 MapReduce 的 XQuery 处理器（如 Apache MRQL）

提出的方法

• 将 VXQuery 构建为 Hyracks（一个并行数据流执行引擎）的扩展，以支持 XQuery 特定的执行计划。
• 集成 Algebricks（一个与语言无关的编译工具箱），以实现可重用的、与数据模型无关的查询优化。
• 扩展 Algebracks，加入 XQuery 特定的重写规则，以优化路径表达式并实现高效的并行执行。
• 实现自定义的 XQuery 解析器和 XML 数据模型，以在 Hyracks 运行时环境中支持 XQuery 1.0 语义。
• 在 VXQuery 中使用混合哈希连接算法，相比基于 MapReduce 的方法，显著减少了 I/O 并提升了连接性能。
• 设计系统时隐藏并行细节，使用户可使用标准 XQuery 语法，同时实现自动并行化。

实验结果

研究问题

• RQ1 能否通过扩展通用型数据流引擎（如 Hyracks）高效构建可扩展的 XQuery 处理器？
• RQ2 在加速比和可扩展性方面，VXQuery 与单节点 XQuery 处理器（如 Saxon）相比表现如何？
• RQ3 在大规模 XML 工作负载中，VXQuery 相较于基于 MapReduce 的 XQuery 系统（如 Apache MRQL）的性能优势有多大？
• RQ4 XQuery 特定的优化规则在提升路径表达式效率和实现并行执行方面的有效性如何？
• RQ5 VXQuery 能否在多个节点上有效扩展，以处理大型 XML 数据集（如 500GB 的气象数据仓库）？

主要发现

• 在单台 4 核节点上，VXQuery 相较于领先的开源 XQuery 处理器 SaxonHE 实现了约 3 倍的加速。
• 在 8 节点集群（每节点 4 核）上，VXQuery 对相同 XML 查询的处理速度比 Apache MRQL 快约 2.5 倍。
• VXQuery 展现出强大的可扩展性能：当每节点数据量为 7.2GB 时，随着节点数增加，查询时间保持稳定，表明负载分配高效。
• 当每节点数据量达 66GB（总计 528GB）时，VXQuery 仍保持高性能，表明其在超大规模 XML 数据集上具备有效的横向扩展能力。
• 相较于 Apache MRQL 的性能优势源于更快的 XML 解析（约 2 倍）以及通过混合哈希连接算法实现的更高效连接处理。
• 性能分析显示，VXQuery 在 XML 解析阶段受 CPU 限制，尤其是在处理大规模数据集时，表明解析优化是未来改进的关键领域。