[論文レビュー] Empirical Comparison of Algorithms for Network Community Detection

Jure Leskovec, Kevin Lang+1 more|arXiv (Cornell University)|Apr 20, 2010

Complex Network Analysis Techniques参考文献 28被引用数 104

ひとこと要約

本論文は、12種類のコミュニティ品質評価関数と8種類のアルゴリズムクラスを用いて、40以上の実世界ネットワークを包括的に実験的に比較し、コミュニティ検出手法における体系的なバイアスを明らかにした。サイズ別最適化が顕在化しないサイズ依存の行動を露呈しており、導出度のような指標を過剰に最適化すると、直感的でない、接続性が低いクラスタが得られることが示された。これは、近似コミュニティ検出アルゴリズムにおいて正則化の必要性を強調している。

ABSTRACT

Detecting clusters or communities in large real-world graphs such as large social or information networks is a problem of considerable interest. In practice, one typically chooses an objective function that captures the intuition of a network cluster as set of nodes with better internal connectivity than external connectivity, and then one applies approximation algorithms or heuristics to extract sets of nodes that are related to the objective function and that "look like" good communities for the application of interest. In this paper, we explore a range of network community detection methods in order to compare them and to understand their relative performance and the systematic biases in the clusters they identify. We evaluate several common objective functions that are used to formalize the notion of a network community, and we examine several different classes of approximation algorithms that aim to optimize such objective functions. In addition, rather than simply fixing an objective and asking for an approximation to the best cluster of any size, we consider a size-resolved version of the optimization problem. Considering community quality as a function of its size provides a much finer lens with which to examine community detection algorithms, since objective functions and approximation algorithms often have non-obvious size-dependent behavior.

研究の動機と目的

• 大規模で複雑なトポロジーを有する実世界ネットワークにおけるコミュニティ検出アルゴリズムの構造的バイアスおよび性能差を理解すること。
• 目的関数と近似アルゴリズムが、凝集的 vs. 良好に分離されたクラスタなど、特定のクラスタタイプを他のものよりも系統的に優遇する仕組みを評価すること。
• サイズ別最適化フレームワークを用いて、クラスタサイズがコミュニティ品質指標およびアルゴリズム行動に与える影響を調査すること。
• 一般的に用いられる指標（例：モジュラリティ、導出度）が、過剰な最適化下で意味のあるコミュニティを生成するのか、それともアーチファクトを生成するのかを評価すること。
• 近似アルゴリズムが、最適性に欠けるものの解釈可能性を向上させる正則化に類似した効果をもたらすかどうかを調査すること。

提案手法

• スパarsity、重尾度分布、小径などの多様な構造的特徴を有する40以上の実世界ネットワークを評価対象とした。
• 導出度、モジュラリティ、レシオカットなどの12種類の目的関数と、スペクトル法、フローに基づく手法、グリーディ法、モジュラリティベースの手法など8種類のアルゴリズムクラスを適用した。
• サイズ別最適化フレームワークを用い、全可能なサイズについて最良のコミュニティを特定することで、サイズ依存の行動を分析可能とした。
• アルゴリズム性能の評価のため、スペクトル的および半定値計画法（SDP）の緩和を用いて導出度の理論的下界を計算した。
• クラスタの質を、凝集性、分離性、内部接続性に注目して、ネットワーク全体を通じて比較した。
• 合成データおよび実ネットワークデータを含む実験的評価を行い、導出度比とクラスタ統計を用いて結果を可視化および定量化した。

実験結果

リサーチクエスチョン

• RQ1 さまざまな実世界ネットワークトポロジーにおいて、異なるコミュニティ検出アルゴリズムの性能はどのように異なるか？
• RQ2 目的関数と近似アルゴリズムが、識別するコミュニティにどのような体系的バイアスをもたらすか？
• RQ3 クラスタサイズは、検出されたコミュニティの品質および解釈可能性にどのように影響するか？
• RQ4 導出度やモジュラリティといった一般的に用いられる指標が、最適化下で意味のあるコミュニティを生成するのか、それともアーチファクトを生成するのか、その程度はどの程度か？
• RQ5 コミュニティ検出における近似計算は、最適性に欠けるものの解釈可能性を向上させる正則化の一種と見なせるか？

主な発見

• 導出度の過剰な最適化は、接続性が乏しい、あるいは完全に分離されたクラスタを生じやすく、これは近似アルゴリズムに系統的なバイアスがあることを示唆している。
• 導出度のSDP下界とスペクトル下界の比は、ネットワークサイズが大きくなると顕著に増加し、大規模ネットワークにおける良好なクラスタは通常、小さく良好に分離されたものであることが示唆された。
• モジュラリティと導出度は本質的に異なる挙動を示す：モジュラリティは小さなクラスタを好むが、導出度最適化は低導出度値を達成しても内部接続性が低い場合がある。
• スペクトル法に基づく手法（例：Local Spectral）は凝集的で良好に接続されたクラスタを検出する傾向があるが、フローに基づく手法（例：Metis+）は、より良好に分離されたが、凝集性に欠ける可能性のあるコミュニティを好む傾向がある。
• サイズ別分析により、目的関数およびアルゴリズムに顕在化しないサイズ依存の行動が明らかになった。これは、最適なクラスタサイズがネットワークおよび指標によって異なることを示している。
• 近似アルゴリズムは、スパarsityのおかげで、目的関数の値が最適でない場合でも、凝集的で解釈可能なコミュニティを優遇する正則化に類似した効果をもたらす。