[论文解读] I/O efficient bisimulation partitioning on very large directed acyclic graphs

Jelle Hellings, George Fletcher+1 more|TU/e Research Portal (Eindhoven University of Technology)|Dec 5, 2011

Semantic Web and Ontologies参考文献 22被引用 14

一句话总结

本论文提出了首个针对非常大规模有向无环图（DAG）的I/O高效外部内存算法，用于计算双生划分，实现了最优的最坏情况I/O复杂度O(Sort(|N| + |E|))。通过利用全局重组织、分阶段处理和智能磁盘布局，该算法能够高效处理包含数十亿个节点和边的DAG，即使在主内存有限的系统上也能运行——在真实世界的XML工作负载中展现出实际性能。

ABSTRACT

In this paper we introduce the first efficient external-memory algorithm to compute the bisimilarity equivalence classes of a directed acyclic graph (DAG). DAGs are commonly used to model data in a wide variety of practical applications, ranging from XML documents and data provenance models, to web taxonomies and scientific workflows. In the study of efficient reasoning over massive graphs, the notion of node bisimilarity plays a central role. For example, grouping together bisimilar nodes in an XML data set is the first step in many sophisticated approaches to building indexing data structures for efficient XPath query evaluation. To date, however, only internal-memory bisimulation algorithms have been investigated. As the size of real-world DAG data sets often exceeds available main memory, storage in external memory becomes necessary. Hence, there is a practical need for an efficient approach to computing bisimulation in external memory. Our general algorithm has a worst-case IO-complexity of O(Sort(|N| + |E|)), where |N| and |E| are the numbers of nodes and edges, resp., in the data graph and Sort(n) is the number of accesses to external memory needed to sort an input of size n. We also study specializations of this algorithm to common variations of bisimulation for tree-structured XML data sets. We empirically verify efficient performance of the algorithms on graphs and XML documents having billions of nodes and edges, and find that the algorithms can process such graphs efficiently even when very limited internal memory is available. The proposed algorithms are simple enough for practical implementation and use, and open the door for further study of external-memory bisimulation algorithms. To this end, the full open-source C++ implementation has been made freely available.

研究动机与目标

• 解决在XML、数据溯源和科学工作流中常见的大规模DAG上双生划分缺乏高效外部内存算法的问题。
• 通过设计基于磁盘存储的算法，克服现有内部内存双生算法的I/O瓶颈，最大限度减少昂贵的磁盘访问。
• 实现在主内存无法容纳的超大规模图上可扩展的双生计算，支持实际应用中的索引构建与查询优化。
• 为树状结构的XML数据开发一般算法的专用变体，以提升常见使用场景下的性能。
• 提供一个实用的开源实现，以支持外部内存图算法的部署与进一步研究。

提出的方法

• 设计一种两阶段外部内存算法：首先通过排序和重编号对图进行全局重组织，以提升数据局部性并减少I/O访问。
• 基于节点等级、标签和哈希值的分层划分策略，创建初始粗粒度划分，以缩小问题规模。
• 应用分阶段细化过程，通过局部双生检查和二次哈希检测等价性，逐步合并双生节点。
• 利用外部内存计算模型，其中I/O复杂度以磁盘访问次数衡量（Sort(n) = 排序n个元素所需的I/O次数）。
• 提出一种新颖的数据布局策略，将图在磁盘上组织，以最小化随机访问并最大化顺序处理效率。
• 通过利用父-子关系和标签约束等树状结构特性，将一般算法专门化用于XML数据，进一步优化I/O与计算性能。

实验结果

研究问题

• RQ1 能否为超出主内存容量的超大规模DAG设计出I/O高效的双生划分算法？
• RQ2 此类算法的理论I/O复杂度是多少？能否被界定为O(Sort(|N| + |E|))？
• RQ3 该算法在真实世界中包含数十亿个节点和边的DAG上，尤其在内存受限条件下，实际表现如何？
• RQ4 能否为树状结构的XML数据开发算法的专用变体，以在性能上超越通用情况？
• RQ5 该算法的性能在多大程度上依赖于内存大小、输入结构或初始划分质量？

主要发现

• 所提出的算法实现了最优的最坏情况I/O复杂度O(Sort(|N| + |E|))，在外部内存计算中具有理论高效性。
• 该算法可扩展至最多10^9个节点的图，处理55.8 GB的XML数据仅需104分钟，运行于配备传统硬盘的标准笔记本电脑上。
• 初始划分质量越高（基于等级、标签和哈希），性能提升越显著，二次哈希冲突减少，高效处理的划分块数量增加。
• 第一阶段——图的排序与重编号——占用了主要运行时间，且该阶段与图结构无关，表明在各类DAG上性能表现一致。
• 增加可用内存可提升性能，但超过某一临界点后边际收益递减，表明该算法在主内存有限时仍具鲁棒性。
• 针对XML数据的专用变体性能优于通用算法，证明领域特定优化能显著提升I/O效率与处理速度。