[論文レビュー] DIMSpan - Transactional Frequent Subgraph Mining with Distributed In-Memory Dataflow Systems

André Petermann, Martin Junghanns+1 more|arXiv (Cornell University)|Mar 6, 2017

Data Mining Algorithms and Applications参考文献 29被引用数 5

ひとこと要約

DIMSpan は、Apache Spark や Flink を基盤として構築された分散型、インメモリ型の頻度付き部分グラフ抽出フレームワークであり、知識グラフやソーシャルネットワークなどの大規模な有向多重グラフから効率的に頻度付き部分グラフを抽出することを可能にする。高度な pruning、圧縮、最適化技術を活用することで、スケーラビリティが高く、ネットワークトラフィックを低減する。MapReduce に基づくアプローチに比べて実行時間とリソース効率で優れている。

ABSTRACT

Transactional frequent subgraph mining identifies frequent subgraphs in a collection of graphs. This research problem has wide applicability and increasingly requires higher scalability over single machine solutions to address the needs of Big Data use cases. We introduce DIMSpan, an advanced approach to frequent subgraph mining that utilizes the features provided by distributed in-memory dataflow systems such as Apache Spark or Apache Flink. It determines the complete set of frequent subgraphs from arbitrary string-labeled directed multigraphs as they occur in social, business and knowledge networks. DIMSpan is optimized to runtime and minimal network traffic but memory-aware. An extensive performance evaluation on large graph collections shows the scalability of DIMSpan and the effectiveness of its pruning and optimization techniques.

研究の動機と目的

• 大規模で複雑なグラフコレクションを扱うビッグデータワークロードにおける、単一マシン型頻度付き部分グラフ抽出（FSM）のスケーラビリティ制限を解消すること。
• 知識グラフ、ソーシャルネットワーク、ビジネスプロセスログなど、エッジの方向性と多重性に意味を持つ有向多重グラフにおける頻度付き部分グラフの抽出を支援すること。
• 分散型インメモリデータフロー系（例：Spark、Flink）を活用してディスク I/O やネットワークシャッフルを最小限に抑え、従来の MapReduce に基づく FSM アプローチに比べてパフォーマンスを向上させること。
• gSpan にインspiredされたメモリに配慮したデータ構造、パターン圧縮、pruning 技術を用いて抽出プロセスを最適化し、正しく完全に保つこと。
• 実データおよび合成データセット上でスケーラビリティと効率性を実証し、既存のアプローチに比べ顕著なパフォーマンス向上を示すこと。

提案手法

• gSpan アルゴリズムの pruning メカニズム（例：最小 DFS コード、ブランチ制約）を分散型インメモリデータフロー モデルに適応させ、探索空間の効率的削減を実現する。
• 部分グラフの出現を追跡するためのパターン埋め込みマップ（μ）を採用し、パターン頻度（ϕ）の k エッジ版を用いて反復的パターン拡大を制御する。
• マルチレベル圧縮を適用：パターン圧縮（1,2）、埋め込み圧縮（3）、グラフ圧縮（4）により、メモリ使用量とネットワーク転送オーバーヘッドを低減する。
• 誤検出を最小限に抑えるための後処理による検証ステップを導入し、完全な同型判定を後段階に延期することで、高コストな同型判定の回数を削減する。
• 事前処理フェーズで頻度の低いエッジラベルをフィルタリングし、ブランチ pruning を適用することで、パイプラインの初期段階で候補パターンの数を削減する。
• Flink のインメモリコンピューティングモデルを活用してディスク I/O を最小限に抑え、最適化された整数配列表現による効率的なシリアル化をサポートすることで反復処理を効率化する。

実験結果

リサーチクエスチョン

• RQ1 分散型インメモリデータフロー系は、大規模で複雑なグラフコレクションに対して、単一マシンの制限を超えて頻度付き部分グラフ抽出を効果的にスケーリングできるか？
• RQ2 gSpan スタイルの pruning と圧縮技術を統合した DIMSpan の実装は、MapReduce に基づく FSM フレームワークと比較して実際のパフォーマンスにどの程度寄与するか？
• RQ3 データ圧縮と最適化されたデータ構造は、分散型 FSM においてネットワークトラフィックとメモリ使用量をどの程度低減できるか？
• RQ4 同型判定の実行タイミング（フィルタリング前か後か）は、全体の実行時間と正しさにどのような影響を及ぼすか？
• RQ5 適応的パーティショニングと事前処理の影響は、大規模グラフ抽出におけるロードバランシングとパフォーマンスにどのような影響を及えるか？

主な発見

• DIMSpan はクラスタサイズの増加に伴い、非線形的だが意味のあるスループット向上を達成しており、合成データおよび実世界の分子データセットの両方で強力なスケーラビリティを示している。
• 合成データセットでは実行時間が入力サイズにほぼ線形的に増加するが、分子データセットでは、低サポート閾値（例：3% 対 5%）で結果サイズの指数的増加に起因し、非線形に実行時間が増加する。
• パターン圧縮（1,2）が最も効果的な最適化であり、圧縮オーバーヘッドが多少あるものの、カウント処理の高速化とデータ転送の削減により、実行時間の顕著な短縮を実現している。
• 後処理による検証により、高コストな同型判定の回数が削減され、特に低サポート閾値でのスケーラビリティが向上する。
• ブランチ pruning を無効化すると、処理オーバーヘッドの削減により合成データセットでパフォーマンスが向上するが、分子データセットでは異なる最小 1 エッジ DFS コードの数が少ないため、有益である。
• 頻度の低いエッジラベルに基づく事前処理は、ラベル多様性の高いデータセットで顕著なパフォーマンス向上を示し、強いデータセット依存性の利点を示している。