[論文レビュー] Parallel Maximum Clique Algorithms with Applications to Network Analysis and Storage

Ryan A. Rossi, David F. Gleich+2 more|arXiv (Cornell University)|Feb 25, 2013

Algorithms and Data Compression参考文献 56被引用数 9

ひとこと要約

この論文は、特に社会的・情報的ネットワークを対象として、大規模なスパarsなグラフに最適化された高速で並列処理可能な最大クリークアルゴリズムを提示する。コア数を用いた積極的なプルーニングとヒューリスティックなクリーク検出を組み合わせた分枝限定戦略を採用しており、1,000〜1億個のノードを含むグラフにおいてほぼ線形の実行時間スケーリングを達成し、16コアシステムで18億エッジを持つ社会的ネットワークの最大クリークを約20分で同定できる。

ABSTRACT

We propose a fast, parallel maximum clique algorithm for large sparse graphs that is designed to exploit characteristics of social and information networks. The method exhibits a roughly linear runtime scaling over real-world networks ranging from 1000 to 100 million nodes. In a test on a social network with 1.8 billion edges, the algorithm finds the largest clique in about 20 minutes. Our method employs a branch and bound strategy with novel and aggressive pruning techniques. For instance, we use the core number of a vertex in combination with a good heuristic clique finder to efficiently remove the vast majority of the search space. In addition, we parallelize the exploration of the search tree. During the search, processes immediately communicate changes to upper and lower bounds on the size of maximum clique, which occasionally results in a super-linear speedup because vertices with large search spaces can be pruned by other processes. We apply the algorithm to two problems: to compute temporal strong components and to compress graphs.

研究の動機と目的

• 大規模ネットワーク解析におけるNP困難な最大クリーク問題の計算不能性に対処するために、スケーラブルで並列処理可能なアルゴリズムを設計すること。
• 従来の正確な手法では不可能な大規模な10億エッジネットワークにおける最大クリークの実用的計算を可能にすること。
• 最大クリークを、動的ネットワークにおける時間的強いコンponentsの分析や、頂点順序付けによるグラフ圧縮の改善に活用するためのツールとして活用すること。
• 境界伝搬を介したプロセス間の効率的並列処理と積極的なプルーニングにより、高い性能を達成すること。

提案手法

• 高速なヒューリスティックなクリーク探索器を用いて、最大クリークサイズの初期下界を取得する分枝限定フレームワークを採用する。
• 頂点のコア数とクリークサイズに対するタイトな上界を組み合わせて、グラフレベルおよび近隣レベルの探索空間を積極的にプルーニングする。
• 再計算コストを抑えるために、暗黙的なグラフ編集と定期的な完全なグラフ更新を適用して、探索中の効率を維持する。
• 複数のワーカーを用いて探索木の探索を並列化し、上界および下界の変更を即座に伝搬させることで、プロセス間のプルーニングを可能にし、まれにスーパーライナー速度向上を達成する。
• 入力グラフの特性に応じてデータ構造と表現を動的に調整できるチューナブルなフレームワークを設計する。
• 最大クリークを繰り返し抽出し、各クリーク内での頂点を次数でソートすることで、グラフ圧縮のための局所性を向上させる頂点順序付け戦略を構築する。

実験結果

リサーチクエスチョン

• RQ1 実世界の大規模スパースネットワークにおいて、並列処理可能な最大クリークアルゴリズムはほぼ線形の実行時間スケーリングを達成できるか？
• RQ2 コア数とヒューリスティックなクリーク検出は、正確な最大クリーク計算におけるプルーニングの加速にどの程度有効に利用できるか？
• RQ3 最大クリークの計算は、動的ネットワークにおける最大時間的強いコンponentsの同定に効果的に活用できるか？
• RQ4 標準的なヒューリスティックと比較して、クリークに基づく頂点順序付けはグラフ圧縮効率を向上させられるか？

主な発見

• 16プロセッサの共有メモリシステムを用いて、18億エッジを持つ社会的ネットワークの最大クリークを約20分で計算可能である。
• 1,000〜1億ノードのネットワークにわたり、ほぼ線形の実行時間スケーリングを示しており、NP困難な問題であるにもかかわらず、強力な実用的効率性を示している。
• プロセス間のプルーニングにより、一部のケースでスーパーライナー速度向上を達成しており、1人のワーカーの境界更新によって他のワーカーが大規模な探索空間を削除できる。
• クリークに基づく頂点順序付けは、最先端のLayered Label Propagation (LLP)手法と同等のグラフ圧縮結果を生み出し、Facebookネットワークではわずかに劣るが依然として効果的な性能を示している。
• Twitter や電話通話ネットワークなどの動的ネットワークにおいて、到達可能性グラフへの最大クリーク計算に還元することで、最大時間的強いコンponentsを効果的に同定できた。
• ソフトウェア実装は公開されており、ネットワーク解析およびグラフ処理タスクにおける再現性と広範な採用を可能にしている。