[論文レビュー] I/O efficient bisimulation partitioning on very large directed acyclic graphs

Jelle Hellings, George Fletcher+1 more|TU/e Research Portal (Eindhoven University of Technology)|Dec 5, 2011

Semantic Web and Ontologies参考文献 22被引用数 14

ひとこと要約

本論文は、非常に大きな有向無閉路グラフ（DAG）上で双対分割を計算する、I/O効率の良い外部記憶用アルゴリズムの初の実装を提示している。最悪ケースのI/O複雑性がO(Sort(|N| + |E|))であることを達成しており、最適性を保証している。グローバルな再編成、段階的処理、知的なディスク配置戦略を活用することで、主記憶が限られた環境でも、数十億のノードとエッジを有するDAGを効率的に処理可能であり、実世界のXMLワークロードにおいて実用的な性能を示している。

ABSTRACT

In this paper we introduce the first efficient external-memory algorithm to compute the bisimilarity equivalence classes of a directed acyclic graph (DAG). DAGs are commonly used to model data in a wide variety of practical applications, ranging from XML documents and data provenance models, to web taxonomies and scientific workflows. In the study of efficient reasoning over massive graphs, the notion of node bisimilarity plays a central role. For example, grouping together bisimilar nodes in an XML data set is the first step in many sophisticated approaches to building indexing data structures for efficient XPath query evaluation. To date, however, only internal-memory bisimulation algorithms have been investigated. As the size of real-world DAG data sets often exceeds available main memory, storage in external memory becomes necessary. Hence, there is a practical need for an efficient approach to computing bisimulation in external memory. Our general algorithm has a worst-case IO-complexity of O(Sort(|N| + |E|)), where |N| and |E| are the numbers of nodes and edges, resp., in the data graph and Sort(n) is the number of accesses to external memory needed to sort an input of size n. We also study specializations of this algorithm to common variations of bisimulation for tree-structured XML data sets. We empirically verify efficient performance of the algorithms on graphs and XML documents having billions of nodes and edges, and find that the algorithms can process such graphs efficiently even when very limited internal memory is available. The proposed algorithms are simple enough for practical implementation and use, and open the door for further study of external-memory bisimulation algorithms. To this end, the full open-source C++ implementation has been made freely available.

研究の動機と目的

• XML、データプロヴァンス、科学的ワークフローなどで一般的な、主記憶に収まりきらない巨大DAGにおける双対分割のための効率的な外部記憶用アルゴリズムの欠如に対処すること。
• 既存の内部記憶用双対分割アルゴリズムにおけるI/Oボトルネックを克服するため、ディスク上に配置されたアプローチを設計し、高価なディスクアクセスを最小限に抑えること。
• 主記憶に収まりきらないほど大きなグラフにおいても、スケーラブルな双対分割計算を可能にし、実世界の応用におけるインデキシングやクエリ最適化を支援すること。
• 木構造のXMLデータに特化した一般アルゴリズムの変種を開発し、一般的なユースケースにおける性能を向上させること。
• 実用的でオープンソースの実装を提供し、外部記憶用グラフアルゴリズム分野における導入とさらなる研究を支援すること。

提案手法

• 2段階の外部記憶用アルゴリズムを設計する：まず、局所性を向上させ、I/Oを削減するために、ソートと再番号付けによるグローバルなグラフ再編成を行う。
• ノードのランク、ラベル、ハッシュ値に基づく階層的分割戦略を用いて、問題のサイズを縮小する初期の粗い分割を生成する。
• 局所的な双対性チェックと2次ハッシュを用いて、段階的な精錬プロセスを適用し、双対性を持つノードを段階的に統合する。
• 外部記憶計算モデルを活用し、I/O複雑性をディスクアクセス回数として測定する（Sort(n) = n要素をソートするためのI/O回数）。
• ランダムアクセスを最小限に抑え、順次処理を最大化するための、革新的なデータ配置戦略を導入する。
• 親子関係やラベル制約といった木構造の性質を活用することで、一般アルゴリズムをXMLデータに特化させ、I/Oと計算の両方の最適化をさらに進める。

実験結果

リサーチクエスチョン

• RQ1 主記憶に収まりきらないほど大きなDAGにおいて、双対分割のためのI/O効率の良いアルゴリズムを設計できるか？
• RQ2 そのようなアルゴリズムの理論的I/O複雑性は何か？ そして、O(Sort(|N| + |E|))で上限を示せるか？
• RQ3 実世界のDAG（数十億ノードおよびエッジを有する）において、特に主記憶が制限された条件下で、実用的な性能はどの程度達成されるか？
• RQ4 木構造のXMLデータに特化したアルゴリズムの変種を、一般ケースよりも性能向上を図るために開発できるか？
• RQ5 アルゴリズムの性能は、主記憶のサイズ、入力構造、または初期分割の質にどの程度依存するか？

主な発見

• 提案されたアルゴリズムは、O(Sort(|N| + |E|))という最適な最悪ケースI/O複雑性を達成しており、外部記憶計算において理論的に効率的であることが示された。
• 本アルゴリズムは、最大10^9ノードおよび55.8 GBのXMLデータを有するグラフにもスケーリング可能であり、標準のラップトップと従来のHDDを用いて104分で処理した。
• 初期分割の質が向上する（ランク、ラベル、ハッシュに基づく）ことで、性能が顕著に向上し、2次ハッシュの衝突が減少し、効率的に処理可能な分割ブロックの数が増えた。
• 1段階目（グラフのソートと再番号付け）が実行時間の大部分を占めており、この段階はグラフ構造に依存しないため、多様なDAGに対して一貫した性能を示す。
• 利用可能な主記憶を増やすことで性能が向上するが、ある閾値を超えると増加の余地が小さくなり、主記憶が限られた環境でもアルゴリズムが堅牢であることが示された。
• XMLデータに特化した変種は、一般アルゴリズムを上回る性能を示しており、ドメイン特化の最適化がI/O効率と速度の面で顕著な向上をもたらすことを実証した。