[論文レビュー] GANC: Greedy Agglomerative Normalized Cut

Seyed Salim Tabatabaei, Mark Coates+1 more|arXiv (Cornell University)|May 5, 2011

Complex Network Analysis Techniques参考文献 53被引用数 7

ひとこと要約

本稿では、貪欲な階層的凝集型クラスタリング、曲率解析によるモデル次数選択、局所的リファインメントを組み合わせることで正規化連関を最大化するスケーラブルなグラフクラスタリング手法GANCを提案する。O(n log²n)の計算量でスペクトルクラスタリングと同等の正規化カット最小化性能を達成でき、数百万ノードのグラフにおいても効率的なクラスタリングが可能であり、大規模ネットワークにおけるスケーラビリティとクラスタ品質の面で既存手法を上回る。

ABSTRACT

This paper describes a graph clustering algorithm that aims to minimize the normalized cut criterion and has a model order selection procedure. The performance of the proposed algorithm is comparable to spectral approaches in terms of minimizing normalized cut. However, unlike spectral approaches, the proposed algorithm scales to graphs with millions of nodes and edges. The algorithm consists of three components that are processed sequentially: a greedy agglomerative hierarchical clustering procedure, model order selection, and a local refinement. For a graph of n nodes and O(n) edges, the computational complexity of the algorithm is O(n log^2 n), a major improvement over the O(n^3) complexity of spectral methods. Experiments are performed on real and synthetic networks to demonstrate the scalability of the proposed approach, the effectiveness of the model order selection procedure, and the performance of the proposed algorithm in terms of minimizing the normalized cut metric.

研究の動機と目的

• 正規化カットを最小化する低計算量なスケーラブルなグラフクラスタリング手法の開発。
• O(n³)の計算量を要するスペクトルクラスタリング手法のスケーラビリティの限界を解消すること。
• ヒューリスティクスや内在的分解能限界に依存せずに、最適なクラスタ数を自動的に特定するモデル次数選択手順の導入。
• 階層的クラスタリングにより、スペクトル法と同等の高いクラスタリング品質を維持するとともに、マルチスケール解析を可能にする。
• 社会的・生物学的・交通ネットワークを含む大規模実世界ネットワークにおけるスペクトルクラスタリングの実用的代替手段を提供すること。

提案手法

• スパースグラフにおいてO(n log²n)の時間計算量を達成する貪欲な階層的凝集型クラスタリング手順を採用し、正規化連関に基づいてノードを統合する。
• クラスタ数の相対的な正規化連関の向上を分析することで、最適なクラスタ数を特定する曲率に基づくモデル次数選択手法を採用する。
• 境界ノードを隣接クラスタに再割り当てする反復的リファインメント手順を実装し、正規化連関を向上させる。効率的なマップデータ構造を用いることでオーバーヘッドを最小限に抑える。
• 凝集的かつ階層的な構造を採用することで、1回のイテレーションで複数ノードを統合する手法とは異なり、複数の解像度レベルでのクラスタ抽出が可能である。
• 固有値分解を回避し、反復的統合とリファインメントによって正規化連関を直接最適化することで、線形スケーラビリティを実現する。
• ユーザーがクラスタ数の範囲を指定できるようにし、その範囲内で曲率指標が最適なモデル次数を同定する。これによりマルチスケール解析が可能となる。

実験結果

リサーチクエスチョン

• RQ1 大規模グラフ（数百万ノード）にスケーリング可能なグラフクラスタリング手法は、スペクトル法と同等の正規化カット最小化性能を達成しつつ、低計算量で実現可能か？
• RQ2 モジュラリティの分解能限界に苦しむことなく、曲率に基づくモデル次数選択手順が最適なクラスタ数を効果的に特定できるか？
• RQ3 局所的リファインメントを施した貪欲な階層的凝集型アプローチは、大規模ネットワークにおける正規化連関の観点で、既存のスケーラブルなクラスタリング手法を上回れるか？
• RQ4 GANCの階層的構造は、非階層的または固定統合型の手法と比較して、マルチスケールクラスタリングをどのように可能にするか？
• RQ5 リファインメント手順は、計算コストをほとんど増加させないまま、どの程度クラスタリング品質を向上させるか？

主な発見

• GANCは、高価な固有値分解を要するスペクトルクラスタリング手法と同等の正規化連関値を達成しながら、O(n log²n)の時間で動作する。
• 数百万ノードの大規模ネットワークにおいて、唯一の同等手法（Dhillon-Guan-Kulis）を上回り、特に密に接続された孤立コミュニティを効果的に同定する点で優れた性能を示す。
• 曲率に基づくモデル次数選択手順により、モジュラリティに内在する分解能限界を回避でき、複数スケールでのクラスタ検出が可能になる。
• 計算コストがほとんどないリファインメント手順は、正規化連関を顕著に向上させ、局所最適化の有効性を示している。
• GANCは、大規模グラフの外縁部から、サイズ7〜225の小規模で高密度なクラスタを効果的に抽出でき、コアクラスタは自然に特定され、さらに細分化可能である。これは、コアクラスタが過大に大きくなる傾向がある他の手法とは対照的である。
• 本手法は、任意のマルチスケールクラスタリングをサポートするスケーラブルな正規化連関最大化手法として、初めてのものであり、多様なネットワークタイプにおけるコミュニティ検出に適している。