[論文レビュー] Distributed-Memory Parallel Algorithms for Counting and Listing Triangles in Big Graphs

Shaikh Arifuzzaman, Maleq Khan+1 more|arXiv (Cornell University)|Jun 16, 2017

Complex Network Analysis Techniques参考文献 29被引用数 4

ひとこと要約

本論文は、最大100億エッジを有する巨大グラフにおける正確な三角形カウントおよびクラスタリング係数計算のための、MPIベースの分散メモリ並列アルゴリズムを2つ提示する。1つ目のアルゴリズムは重複パーティショニングと負荷バランスを用いて高い性能を達成し、16分未塔で正確な三角形カウントを実現する。2つ目のアルゴリズムは非重複パーティショニングを用いてメモリ効率を高め、両アルゴリズムともスケーラブルな三角形のリスト作成とエッジスパース化による近似計算をサポートする。

ABSTRACT

Big graphs (networks) arising in numerous application areas pose significant challenges for graph analysts as these graphs grow to billions of nodes and edges and are prohibitively large to fit in the main memory. Finding the number of triangles in a graph is an important problem in the mining and analysis of graphs. In this paper, we present two efficient MPI-based distributed memory parallel algorithms for counting triangles in big graphs. The first algorithm employs overlapping partitioning and efficient load balancing schemes to provide a very fast parallel algorithm. The algorithm scales well to networks with billions of nodes and can compute the exact number of triangles in a network with 10 billion edges in 16 minutes. The second algorithm divides the network into non-overlapping partitions leading to a space-efficient algorithm. Our results on both artificial and real-world networks demonstrate a significant space saving with this algorithm. We also present a novel approach that reduces communication cost drastically leading the algorithm to both a space- and runtime-efficient algorithm. Further, we demonstrate how our algorithms can be used to list all triangles in a graph and compute clustering coefficients of nodes. Our algorithm can also be adapted to a parallel approximation algorithm using an edge sparsification method.

研究の動機と目的

• 単一ノードのメインメモリ容量を超える、特に数百億エッジを有する巨大グラフの分析という課題に取り組む。
• 分散メモリ環境における三角形カウントおよびクラスタリング係数計算のための正確でスケーラブルかつ効率的な並列アルゴリズムを開発する。
• 分散環境における適切な負荷バランスと通信コストの低減を通じて、高い性能を達成する。
• さらに大きなネットワークの処理を可能にするために、スパース化を用いた近似計算も可能にする。
• アルゴリズムを拡張し、すべての三角形のリスト作成とノードレベルのクラスタリング係数の計算を効率的に行い、詳細なネットワーク解析を可能にする。

提案手法

• 三角形カウントにおけるアイドルタイムの最小化と並列効率の最大化を図るため、動的負荷バランスを備えた重複パーティショニング方式を設計する。
• 大規模グラフにおけるメモリフットプリントの低減とメモリ効率の向上を目的として、非重複パーティショニング戦略を実装する。
• プロセッサ間データ転送を最小限に抑えることで実行時間の向上を図る、新規の通信削減技術を統合する。
• 並列フレームワーク内にDOULIONスパース化法を適応させ、近似三角形カウントの精度を向上させる。
• 各ノードの三角形カウントを集約することで、ローカルクラスタリング係数を計算するため、コア三角形カウントアルゴリズムを拡張する。
• 高パフォーマンスコンputングクラスタ上で、移植性とスケーラビリティを確保するため、MPIベースのメッセージパッシングを用いた分散メモリ実行を実装する。

実験結果

リサーチクエスチョン

• RQ1 分散メモリ環境における重複パーティショニングと負荷バランスは、100億エッジのグラフにおける正確な三角形カウントに対して、高いスケーラビリティと低遅延を達成できるか？
• RQ2 非重複パーティショニングは、重複パーティショニングと比較して、三角形カウントにおけるメモリ効率とパフォーマンスの面でどのように異なるか？
• RQ3 正確性を損なわず、分散三角形カウントにおける通信コストをどの程度まで低減できるか？
• RQ4 提案されたアルゴリズムは、すべての三角形のリスト作成とノードレベルのクラスタリング係数の効率的計算に拡張可能か？
• RQ5 分散三角形カウントにエッジスパース化を統合することで、超大規模グラフにおける三角形カウントの近似にどの程度効果的か？

主な発見

• 重複パーティショニングアルゴリズムは、100億エッジのグラフに対して、分散システム上ですべての三角形を16分未塔で正確にカウントした。
• 非重複パーティショニングアルゴリズムは、重複スキームと比較して顕著なメモリ節約を達成し、特にメモリ制限のある環境において有益である。
• 通信削減技術の導入により、実行時間の短縮とプロセッサ間データ転送の削減が実現され、全体の効率が向上した。
• 実世界のネットワーク（LiveJournalやTwitterなど）において、強いスケーリングと弱いスケーリングの両方を示し、合成グラフおよび実グラフの両方で高いパフォーマンスを発揮した。
• DOULIONスパース化の統合により、並列環境下での近似精度が向上し、さらに大きなグラフのスケーラブルな解析が可能になった。
• 拡張されたアルゴリズムは、すべての三角形のリスト作成とローカルクラスタリング係数の計算に成功し、詳細なネットワーク解析を可能にした。