[論文レビュー] MIRAGE: An Iterative MapReduce based FrequentSubgraph Mining Algorithm

Mansurul Bhuiyan, Mohammad Al Hasan|arXiv (Cornell University)|Jul 22, 2013

Data Mining Algorithms and Applications参考文献 22被引用数 6

ひとこと要約

MiRage は、クラスタ上で計算を分散させることで、大規模なグラフデータセットにも効率的にスケーリングできる、完全で反復的な MapReduce をベースにした頻度の高い部分グラフ抽出アルゴリズムです。各 MapReduce ステップ間で最適化されたパーティショニングと反復的状態伝搬を用いることで、ユーザーが定義したサポート閾値に基づき、すべての頻度の高い部分グラフを抽出します。これにより、従来の MapReduce アプローチに比べて最大 6.5 倍の高速化を達成しています。

ABSTRACT

Frequent subgraph mining (FSM) is an important task for exploratory data analysis on graph data. Over the years, many algorithms have been proposed to solve this task. These algorithms assume that the data structure of the mining task is small enough to fit in the main memory of a computer. However, as the real-world graph data grows, both in size and quantity, such an assumption does not hold any longer. To overcome this, some graph database-centric methods have been proposed in recent years for solving FSM; however, a distributed solution using MapReduce paradigm has not been explored extensively. Since, MapReduce is becoming the de- facto paradigm for computation on massive data, an efficient FSM algorithm on this paradigm is of huge demand. In this work, we propose a frequent subgraph mining algorithm called MIRAGE which uses an iterative MapReduce based framework. MIRAGE is complete as it returns all the frequent subgraphs for a given user-defined support, and it is efficient as it applies all the optimizations that the latest FSM algorithms adopt. Our experiments with real life and large synthetic datasets validate the effectiveness of MIRAGE for mining frequent subgraphs from large graph datasets. The source code of MIRAGE is available from www.cs.iupui.edu/alhasan/software/

研究の動機と目的

• 増大する現実世界のグラフデータセットにおける、主記憶装置内での頻度の高い部分グラフ抽出（FSM）アルゴリズムのスケーラビリティ制限に対処すること。
• 大規模データ処理において一般的であるが、成熟した分散ソリューションが不足している MapReduce パラダイムを用いて、完全で効率的な FSM 解決策を設計すること。
• MapReduce のようなステートレスな分散環境において、状態管理とサポート集計の課題を克服すること。
• MapReduce ステップ間で中間結果を伝搬させることで、すべての頻度の高い部分グラフを反復的にスケーラブルに抽出すること。
• さまざまな設定下で、大規模な現実世界および合成グラフデータセットにおける MiRage のパフォーマンスを実証的に検証すること。

提案手法

• MiRage は反復的な MapReduce フレームワークを用いており、各ステップでエッジ数が増加する部分グラフを抽出する。最初にサイズ 1 の部分グラフから開始する。
• マップフェーズでは、マッパーがサイズ i の候補部分グラフを生成し、自身のパーティション内に存在する入力グラフにおけるローカルサポートを計算する。
• リデューサーは、すべてのマッパーからのローカルサポートを集約してグローバルサポートを計算し、サイズ i の頻度の高い部分グラフを特定する。
• 本アルゴリズムは、マイニングの状態を維持するための新しいデータ構造を用いて、すべての非ゼロサポートパターンを反復処理間で保持・伝搬する。
• パーティショニング戦略は最適化されている：合計エッジ数を各パーティションに均等に分配するスキーマ 2 は、グラフ数のみをバランスさせるスキーマ 1 よりも優れている。特に、非均一なデータセットでは顕著な性能向上を示す。
• システムはカスタムデータフォーマットと I/O 最適化を用いて、ネットワークオーバーヘッドを低減し、パフォーマンスを向上させている。

実験結果

リサーチクエスチョン

• RQ1 反復的 MapReduce パラダイムを用いて、完全で効率的な頻度の高い部分グラフ抽出アルゴリズムを設計できるか？
• RQ2 MapReduce のステートレスな性質を考慮すると、グローバルな状態を持たない分散ノード間でサポート集計をどのように達成できるか？
• RQ3 MapReduce 環境下での大規模グラフマイニングにおいて、実行時間を最小限に抑えるパーティショニング戦略は何か？
• RQ4 MiRage のパフォーマンスは、既存の MapReduce をベースにした FSM 手法と比較して、スケーラビリティおよび効率性の面で優れているか？
• RQ5 MiRage の反復的マイニングプロセスにおいて、実行時間を最小限に抑えるために最適な入力パーティション数は何か？

主な発見

• MiRage は Hill らの [32] MapReduce をベースにした FSM 実装に比べ、最大 6.5 倍の高速化を達成した。3 つの生物学的データセット（40% の最小サポート）において、実行時間はそれぞれ 16.6、8.3、17.5 分であった。
• MiRage の最適な入力パーティション数は、従来の MapReduce タスクと比べて顕著に高い。ユーストのデータセットでは約 1000 パーティションが最適である。これは、部分グラフマイニングの指数的複雑性に起因する。
• 非均一な合成データセットにおいて、合計エッジ数を各パーティションに均等に分配するスキーマ 2 は、グラフ数のみをバランスさせるスキーマ 1 よりも最大 30% の実行時間短縮を達成した。
• マッパーの負荷低減によるパフォーマンス向上（指数的増加）は、キー・バリューペアの増加とネットワーク I/O のコスト（線形増加）を上回り、高パーティション数が有益であることが示された。
• MiRage の反復的設計により、すべての非ゼロサポートパターンが反復処理間で保持されるため、完全性が保証され、すべての頻度の高い部分グラフの発見が可能である。
• 50,000 個のグラフを含む大規模な合成データセットにおいても、MiRage は多様なグラフ特性にわたり、効果的にスケーリングできることを示した。