[論文レビュー] A Short Introduction to Local Graph Clustering Methods and Software

Kimon Fountoulakis, David F. Gleich+1 more|arXiv (Cornell University)|Oct 17, 2018

Complex Network Analysis Techniques参考文献 11被引用数 7

ひとこと要約

この論文では、局所的グラフクラスタリング（LGC）を紹介する。LGCは、シードノードの周囲に小規模で高品質なクラスタを効率的に同定するためのスケーラブルな局所的グラフクラスタリングアルゴリズムを実装したPythonソフトウェアパッケージである。最適化に基づく手法（近似PageRankやフローに基づく技術）を活用することで、実行時間とメモリ使用量が出力クラスタサイズに比例するようになり、標準的なハードウェア上でも10億ノード規模のグラフの解析が可能となる。同時に、導通性とクラスタ品質に関する理論的保証を維持する。

ABSTRACT

Graph clustering has many important applications in computing, but due to the increasing sizes of graphs, even traditionally fast clustering methods can be computationally expensive for real-world graphs of interest. Scalability problems led to the development of local graph clustering algorithms that come with a variety of theoretical guarantees. Rather than return a global clustering of the entire graph, local clustering algorithms return a single cluster around a given seed node or set of seed nodes. These algorithms improve scalability because they use time and memory resources that depend only on the size of the cluster returned, instead of the size of the input graph. Indeed, for many of them, their running time grows linearly with the size of the output. In addition to scalability arguments, local graph clustering algorithms have proven to be very useful for identifying and interpreting small-scale and meso-scale structure in large-scale graphs. As opposed to heuristic operational procedures, this class of algorithms comes with strong algorithmic and statistical theory. These include statistical guarantees that prove they have implicit regularization properties. One of the challenges with the existing literature on these approaches is that they are published in a wide variety of areas, including theoretical computer science, statistics, data science, and mathematics. This has made it difficult to relate the various algorithms and ideas together into a cohesive whole. We have recently been working on unifying these diverse perspectives through the lens of optimization as well as providing software to perform these computations in a cohesive fashion. In this note, we provide a brief introduction to local graph clustering, we provide some representative examples of our perspective, and we introduce our software named Local Graph Clustering (LGC).

研究の動機と目的

• 大規模な実世界のグラフにおけるグローバルグラフクラスタリング手法のスケーラビリティの限界を解決すること。
• 理論的コンピュータサイエンス、統計学、データサイエンス分野から得られる多様な局所的クラスタリングアプローチを統合し、一貫性のあるフレームワークを構築すること。
• 理論的保証を備えた効率的でメモリに配慮した局所的クラスタリングを可能にするソフトウェアツールを提供すること。
• コミュニティ検出、ネットワークコミュニティプロファイリング、マルチクラスラベル予測といった実用的応用を支援すること。
• 局所的クラスタリング手法が最小限の計算コストで近似的に最適な導通性を達成できることを示すこと。

提案手法

• LGCは7つの局所的クラスタリングアルゴリズムを実装している：3つのスペクトル法（近似PageRank、PageRank Nibble、ℓ₁正則化付きPageRank）と4つのフローに基づく手法（Max-flow Quotient-cut Improvement、FlowImprove、SimpleLocal、Capacity Releasing Diffusion）。
• これらのアルゴリズムは、グラフ全体のサイズではなく、出力クラスタサイズに比例した時間とメモリで実行されるように設計されている。
• LGCはパイプラインベースのアプローチを用いて、各コミュニティサイズに対して達成可能な最良の導通性をプロットするネットワークコミュニティプロファイル（NCPs）を計算する。
• NCPの計算では、NP困難な問題を効率的に近似するための局所的クラスタリングヒューリスティクスが使用される。
• マルチクラスラベル予測は、局所的クラスタリングをコアコンponentとして活用し、シードノードからラベルを伝搬することで実行される。
• パフォーマンス向上のため、C++ルーチンを統合しており、利用可能なシステムメモリを活用して最大10億ノード規模のグラフを処理できる。

実験結果

リサーチクエスチョン

• RQ1 局所的グラフクラスタリング手法は、出力クラスタサイズに比例するリソースのみを用いて、高品質なクラスタを達成できるか？
• RQ2 実世界のグラフにおいて、局所的クラスタリングアルゴリズムは導通性とスケーラビリティの観点でどのように比較できるか？
• RQ3 局所的クラスタリングを用いて、大規模グラフの近似ネットワークコミュニティプロファイル（NCPs）を効果的に計算できるか？
• RQ4 マルチクラス設定において、局所的クラスタリング手法はラベル予測をどの程度改善できるか？
• RQ5 理論的保証を実用的なソフトウェアに統合することで、データサイエンス応用における使いやすさはどの程度向上するか？

主な発見

• LGCは、出力クラスタサイズに比例するリソースのみを用いて、近似的に最適な導通性を持つ局所的クラスタを効果的に計算し、計算コストを顕著に削減した。
• ソフトウェアは、約9.4 GBのRAMを用いて、ノートブック上で最大1億1700万エッジのグラフを処理できる。
• LGCは大容量メモリマシンを用いて10億ノード規模のグラフにスケーリングでき、実世界の応用における実用的妥当性を示した。
• 局所的クラスタリングを用いたNCPの計算は、NP困難な問題のスケーラブルな近似を提供し、複数スケールにわたるコミュニティ構造の分析を可能にした。
• 局所的クラスタリングをコアコンponentとして活用したマルチクラスラベル予測は優れたパフォーマンスを示し、局所構造を効果的に活用してラベル伝搬を実現した。
• 多様な理論的アプローチを1つのソフトウェアパッケージに統合することで、局所的クラスタリング手法の統合的分析と比較が容易になった。