[論文レビュー] Parallel Algorithms for Counting Triangles in Networks with Large Degrees.

Shaikh Arifuzzaman, Maleq Khan+1 more|arXiv (Cornell University)|Jun 22, 2014

Complex Network Analysis Techniques参考文献 26被引用数 3

ひとこと要約

本稿では、高次数ノードを有する大規模ネットワークにおける三角形カウントのための、MPIベースの並列アルゴリズムを2つ提案する。既存の手法は、過剰な中間データや不均衡なワークロードのため、性能を発揮できない。1つ目の手法はメモリ効率を高めるために非重複パーティションを用いる。2つ目の手法は、メモリ内ネットワークにおける動的負荷分散を採用し、強力なスケーラビリティと大スケールのプロセッサ数での性能を達成する。

ABSTRACT

Finding the number of triangles in a network is an important problem in the analysis of complex networks. The number of triangles also has important applications in data mining. Existing distributed memory parallel algorithms for counting triangles are either Map-Reduce based or message passing interface (MPI) based and work with overlapping partitions of the given network. These algorithms are designed for very sparse networks and do not work well when the degrees of the nodes are relatively larger. For networks with larger degrees, Map-Reduce based algorithm generates prohibitively large intermediate data, and in MPI based algorithms with overlapping partitions, each partition can grow as large as the original network, wiping out the benefit of partitioning the network. In this paper, we present two efficient MPI-based parallel algorithms for counting triangles in massive networks with large degrees. The first algorithm is a space-efficient algorithm for networks that do not fit in the main memory of a single compute node. This algorithm divides the network into non-overlapping partitions. The second algorithm is for the case where the main memory of each node is large enough to contain the entire network. We observe that for such a case, computation load can be balanced dynamically and present a dynamic load balancing scheme which improves the performance significantly. Both of our algorithms scale well to large networks and to a large number of processors.

研究の動機と目的

• 高次数ノードを有するネットワークにおける、既存のMap-Reduceおよび重複パーティションMPIアルゴリズムのスケーラビリティ制限を解消すること。
• 単一ノードのメインメモリ容量を超えるネットワークに対して、空間効率の高いアルゴリズムを設計すること。
• メモリ内ネットワークにおける性能向上とプロセッサ間の計算負荷のバランスを改善するため、動的負荷分散スキームを開発すること。
• 両方のアルゴリズムが大規模ネットワークおよび多数のプロセッサに対して効果的にスケーリングできることを保証すること。
• 過剰な中間データやパーティションサイズの増大といった、既存手法の欠陥を克服すること。

提案手法

• 重複のないパーティションにネットワークを分割することで、重複パーティションMPI手法で見られるメモリの膨張を回避する。
• MPIベースの通信モデルを用いて、分散ノード間での三角形カウントを調整する。
• パーティションを独立して処理し、部分的な三角形カウントを集約する、空間効率の高いアルゴリズムを実装する。
• メモリ内ネットワークの場合、実行中にワークロードを再配分する動的負荷分散戦略を適用し、プロセッサの利用率を維持する。
• ネットワークの高次数構造を活用して、データ配布を最適化し、重複計算を削減する。
• 通信オーバーヘッドを最小限に抑え、分散メモリシステムにおける並列効率を最大化するようにアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 非重複パーティショニング戦略は、高次数ネットワークにおける三角形カウントで、中間データ量とメモリ圧力を著しく低減できるか？
• RQ2 すべてのネットワークがメインメモリに収容できる場合、動的負荷分散は性能をどのように向上させるか？
• RQ3 提案されたアルゴリズムは、ネットワークサイズおよびプロセッサ数の増加に伴い、どの程度スケーリングするか？
• RQ4 Map-Reduceおよび重複パーティションMPI手法と比較して、提案されたMPIベースのアルゴリズムは、性能およびメモリ使用量の面で優れているか？
• RQ5 ノード次数分布は、三角形カウントアルゴリズムの効率性にどのような影響を及ぼすか？

主な発見

• 非重複パーティショニング戦略は、Map-Reduceおよび重複パーティションMPI手法と比較して、中間データ量を顕著に削減した。
• 動的負荷分散スキームにより、メモリ内シナリオにおいて高いプロセッサ利用率を維持でき、性能が向上した。
• 両方のアルゴリズムは、大規模ネットワークおよび多数のプロセッサに対して良好にスケーリングし、強力なスケーラビリティを示した。
• 空間効率の高いアルゴリズムにより、単一計算ノードのメインメモリ容量を超えるネットワークの三角形カウントが可能になった。
• 高次数ノードを有するネットワークにおいて、提案されたアルゴリズムは、メモリ効率および実行時間の面で既存手法を上回った。
• 動的負荷分散アプローチにより、アイドル時間と通信ボトル neck が低減し、大規模グラフにおいてより速い収束が達成された。