[論文レビュー] Overlapping Community Detection via Local Spectral Clustering

Yixuan Li, Kun He+2 more|arXiv (Cornell University)|Sep 26, 2015

Complex Network Analysis Techniques参考文献 19被引用数 6

ひとこと要約

この論文では、短いランダムウォークから得られる局所スペクトルの線形空間に属するスパースな指標ベクトルを特定することで、重複するコミュニティを同定する、局所スペクトルクラスタリング手法Lemonを提案する。この手法は、ℓ¹正則化付き線形計画法を用いることで、グラフ全体のサイズに依存するのではなくコミュニティのサイズに比例する実行時間で、最先端の精度と効率性を達成する。

ABSTRACT

Large graphs arise in a number of contexts and understanding their structure and extracting information from them is an important research area. Early algorithms on mining communities have focused on the global structure, and often run in time functional to the size of the entire graph. Nowadays, as we often explore networks with billions of vertices and find communities of size hundreds, it is crucial to shift our attention from macroscopic structure to microscopic structure in large networks. A growing body of work has been adopting local expansion methods in order to identify the community members from a few exemplary seed members. In this paper, we propose a novel approach for finding overlapping communities called LEMON (Local Expansion via Minimum One Norm). The algorithm finds the community by seeking a sparse vector in the span of the local spectra such that the seeds are in its support. We show that LEMON can achieve the highest detection accuracy among state-of-the-art proposals. The running time depends on the size of the community rather than that of the entire graph. The algorithm is easy to implement, and is highly parallelizable. We further provide theoretical analysis on the local spectral properties, bounding the measure of tightness of extracted community in terms of the eigenvalues of graph Laplacian. Moreover, given that networks are not all similar in nature, a comprehensive analysis on how the local expansion approach is suited for uncovering communities in different networks is still lacking. We thoroughly evaluate our approach using both synthetic and real-world datasets across different domains, and analyze the empirical variations when applying our method to inherently different networks in practice. In addition, the heuristics on how the seed set quality and quantity would affect the performance are provided.

研究の動機と目的

• 大規模グラフに対してスケーリングが悪いグローバルスペクトルクラスタリング手法の限界を克服するため、グローバルなアプローチからコミュニティサイズに合わせた局所的計算に焦点を移す。
• コミュニティが小さく、しばしばメンバーを共有する大規模ネットワークにおいて、効率的かつ高精度に重複コミュニティを検出する手法を開発する。
• 短いランダムウォークから導出される局所スペクトル特性を活用することで、計算コストをグラフ全体のサイズではなくコミュニティのサイズに依存させる、高速なコミュニティ検出を実現する。
• グラフラプラシアンの固有値を用いてコミュニティの「ぎゅう tightened さ」に関する理論的境界を導出し、検出されたコミュニティの構造的性質をより深く理解する。
• 合成ネットワークおよび実世界のネットワークを含む多様なネットワークタイプにおいて、局所拡張手法の経験的挙動を調査し、ロバストネスとパラメータ感度を評価する。

提案手法

• 種となる頂点から始まる短いランダムウォークから特異ベクトル近似を計算し、局所スペクトルを構築することで、低次元の不変部分空間を形成する。
• コミュニティ検出問題を、種となる頂点がサポートに含まれる局所スペクトルの線形空間に属するスパースなベクトルを見つける問題として定式化する。
• スパース性を促進するとともに、種となる頂点が解に含まれることを保証するために、ℓ¹正則化付き線形計画法を用いてスパースな指標ベクトルを求める。
• フルスペクトル分解を避ける局所スペクトル法を適用することで、従来のスペクトルクラスタリングと比較して著しく計算オーバーヘッドを低減する。
• ランダムウォークの構造を活用することで、自然に局所的な接続パターンを強調でき、有効なコミュニティ境界の検出が可能になる。
• 並列処理が容易で、実世界への導入に必要なチューニングが最小限で済むようにアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 既存のグローバルまたは局所手法と比較して、どのようにして局所スペクトルクラスタリングを重複コミュニティ検出にさらに効果的に応用できるか？
• RQ2 種セットの品質とサイズが、多様なネットワークタイプにおける局所拡張アルゴリズムの性能に与える影響は何か？
• RQ3 ランダムウォークの長さや部分空間次元といったパラメータが、合成ネットワークおよび実世界ネットワークにおけるコミュニティ検出の精度とロバストネスに与える影響は何か？
• RQ4 人工的に生成されたネットワーク（例：LFRベンチマーク）と自然に発生する実世界ネットワークとの間で、アルゴリズムの性能にどの程度の差が生じるか？
• RQ5 局所スペクトル手法の文脈において、グラフラプラシアンの固有値を用いてコミュニティの「ぎゅう tightened さ」に関する理論的境界を導出できるか？

主な発見

• Lemonは、合成LFRベンチマークグラフおよび実世界ネットワークの両方で、最先端の手法と比較して最高の検出精度を達成した。
• アルゴリズムの実行時間は検出されたコミュニティのサイズに比例しており、10億頂点のグラフに対しても1秒未塔の検出が可能である。
• 実世界ネットワークでは、(k=3, l=3) および種セットサイズ3の組み合わせが、一貫して優れた性能を示した。
• 実世界ネットワークでは、ランダムウォークステップ数や部分空間次元に対するLemonの感受性が、合成LFRグラフよりも低く、実用的な安定性が向上している。
• 実世界ネットワークでは、高次の頂点に対して感度が高くなる傾向があり、これがランダムウォークのダイナミクスを歪める可能性がある。この問題は、これらのノードへの初期確率質量を減らすことで緩和できる。
• LCやDEMONと比較して、Lemonはコミュニティの過剰分割や過剰統合を回避し、真の構造に近い結果を生成した。