[論文レビュー] An Empirical Comparison of the Summarization Power of Graph Clustering Methods

Yike Liu, Neil Shah+1 more|arXiv (Cornell University)|Nov 21, 2015

Complex Network Analysis Techniques参考文献 29被引用数 7

ひとこと要約

本稿では、最小記述長（MDL）原理と一般的なグラフ構造の語彙を用いて、グラフクラスタリング手法の要約能力に基づく、革新的な評価フレームワークを提案する。KCBCと呼ばれるkコアに基づくクラスタリングアルゴリズムを導入し、実世界のグラフ上でMETIS、Louvain、スペクトルクラスタリング、SlashBurn、KCBCの5つの手法を実験的に比較した結果、SlashBurnが多様な構造タイプ、特にスターモデルを含む、最も表現力のある要約を生成した。一方、KCBCは最小限の重複で高い効率性と強力な圧縮性能を発揮した。

ABSTRACT

How do graph clustering techniques compare with respect to their summarization power? How well can they summarize a million-node graph with a few representative structures? Graph clustering or community detection algorithms can summarize a graph in terms of coherent and tightly connected clusters. In this paper, we compare and contrast different techniques: METIS, Louvain, spectral clustering, SlashBurn and KCBC, our proposed k-core-based clustering method. Unlike prior work that focuses on various measures of cluster quality, we use vocabulary structures that often appear in real graphs and the Minimum Description Length (MDL) principle to obtain a graph summary per clustering method. Our main contributions are: (i) Formulation: We propose a summarization-based evaluation of clustering methods. Our method, VOG-OVERLAP, concisely summarizes graphs in terms of their important structures which lead to small edge overlap, and large node/edge coverage; (ii) Algorithm: we introduce KCBC, a graph decomposition technique, in the heart of which lies the k-core algorithm (iii) Evaluation: We compare the summarization power of five clustering techniques on large real graphs, and analyze their compression performance, summary statistics and runtimes.

研究の動機と目的

• グラフクラスタリング手法の評価を、従来のクラスタ品質指標から要約能力へと転換し、実世界のグラフをどれだけ効果的に圧縮・表現できるかに焦点を当てる。
• 最小記述長（MDL）原理と固定されたグラフ構造語彙（完全クリーク、スターモデル、鎖状構造、二部コア）を用いて、要約効果性を評価する新しい評価フレームワークの構築。
• 効率的かつ効果的なグラフ要約を目的とした、パラメータフリーのkコアに基づく新しいクラスタリングアルゴリズムKCBCの開発。
• 大規模な実世界グラフ上で、METIS、Louvain、スペクトルクラスタリング、SlashBurn、KCBCの5つのクラスタリング手法を、圧縮率、構造の多様性、カバー率、実行時間の観点から実験的に比較。
• 異なるクラスタリング手法における要約の表現力、エッジの重複、計算効率のトレードオフを分析する。

提案手法

• 重複するエッジを考慮したVOG-OVERLAPと呼ばれるグラフ要約手法を提案し、圧縮効率を向上させ、冗長性を低減する。
• 全記述長 L(G, M) = L(M) + L(E) を定量化するため、最小記述長（MDL）原理を用いる。ここで、M はモデル（構造の集合）、E は誤差行列を表す。
• 完全クリーク（fc）、スターモデル（st）、鎖状構造（ch）、二部コア（bc）を含む、一般的なグラフ構造の固定語彙を用いて、損失なしのコンパクトな形でグラフを表現する。
• kコア分解を用いて複数の強い連結成分を最小限の重複で抽出する、新しいアルゴリズムKCBC（kコアに基づくクラスタリング）を導入する。
• VOG要約パイプラインを適用する：(1) 異なる手法によるクラスタ抽出、(2) MDLを用いた構造選択、(3) 最小記述長での要約構築。
• 構造選択に2つのヒューリスティクス（GREEDY’NFORGET と TOP10）を用い、最終評価ではより優れた圧縮性能を示した GREEDY’NFORGET を採用した。

実験結果

リサーチクエスチョン

• RQ1 異なるグラフクラスタリング手法は、固定された構造語彙を用いて大規模な実世界グラフをどれだけ効果的に要約できるか、どのように比較できるか？
• RQ2 MDL符号化コストと構造の多様性の観点から、どのクラスタリング手法が最も表現力があり、かつコンパクトなグラフ要約を生成するか？
• RQ3 抽出された部分グラフ間のエッジの重複は、最終的な要約の品質と圧縮効率にどのように影響するか？
• RQ4 5つのクラスタリング手法において、計算効率（実行時間）と要約能力の間にはどのようなトレードオフがあるか？
• RQ5 kコアに基づくKCBCアルゴリズムは、スケーラビリティと要約品質の観点から、既存の手法をどれだけ凌駆するか？

主な発見

• SlashBurnは最も表現力のある要約を生成し、4つの構造タイプ（完全クリーク、スターモデル、鎖状構造、二部コア）をすべて特定した。特にスターモデルの検出において優れた性能を示し、他の手法がしばしば見逃す構造タイプを捉えた。
• KCBCは最小限のエッジ重複で高い圧縮性能を達成し、部分グラフ生成において最も高速であった。特にEnron（11,297.72秒 vs. 81,737.3秒）のような大規模グラフにおいて顕著な優位性を示した。
• スペクトルクラスタリングとMETISは構造検出と圧縮性能に優れていたが、KCBC や METIS よりも遅く、METIS は構造が少なく、小規模なため要約構築が最も速かった。
• 部分グラフ生成の実行時間はグラフサイズの増加に伴い著しく増加し、速度順は KCBC > スペクトルクラスタリング > METIS > Louvain > SlashBurn となった。
• 要約構築時間は候補構造の数とサイズに比例し、METIS は構造が最も少なかった（要約構築が最も速かった）一方、SlashBurn は最も多くの構造を生成した。
• KCBCは完全クリークと二部コアを効果的に特定でき、kコアの基盤により、パrameterチューニングを必要とせず、効率的かつスケーラブルな分解が可能であった。