[論文レビュー] Hierarchical Community Detection by Recursive Partitioning

Tianxi Li, Lihua Lei+5 more|arXiv (Cornell University)|Oct 2, 2018

Complex Network Analysis Techniques参考文献 78被引用数 10

ひとこと要約

本稿では、単一のコミュニティから出発し、停止ルールに達するまで再帰的にスペクトルクラスタリングによる分割を繰り返すことで、モデルフリーで計算的に効率的な階層的コミュニティ検出アルゴリズムを提案する。この手法は、二分木確率的ブロックモデル下で真のコミュニティ階層を一貫して回復でき、K-分割スペクトルクラスタリングの標準的手法よりも特定の状態下で優れているだけでなく、事前にKを指定する必要がない。

ABSTRACT

The problem of community detection in networks is usually formulated as finding a single partition of the network into some "correct" number of communities. We argue that it is more interpretable and in some regimes more accurate to construct a hierarchical tree of communities instead. This can be done with a simple top-down recursive partitioning algorithm, starting with a single community and separating the nodes into two communities by spectral clustering repeatedly, until a stopping rule suggests there are no further communities. This class of algorithms is model-free, computationally efficient, and requires no tuning other than selecting a stopping rule. We show that there are regimes where this approach outperforms K-way spectral clustering, and propose a natural framework for analyzing the algorithm's theoretical performance, the binary tree stochastic block model. Under this model, we prove that the algorithm correctly recovers the entire community tree under relatively mild assumptions. We apply the algorithm to a gene network based on gene co-occurrence in 1580 research papers on anemia, and identify six clusters of genes in a meaningful hierarchy. We also illustrate the algorithm on a dataset of statistics papers.

研究の動機と目的

• 従来のK-分割コミュニティ検出の限界に対処すること。これは、Kを事前に指定する必要があり、Kが大きい場合に不安定になることが一般的である。
• 平坦な分割ではなく階層的コミュニティツリーを構築することで、より解釈可能で正確な代替手法を開発すること。
• 再帰的分割アルゴリズムのコミュニティ検出における理論的枠組みを提供すること。
• 実世界のネットワーク、特に遺伝子共発現ネットワークと統計学の引用ネットワークにおいて、この手法の有効性を示すこと。
• コミュニティが複数スケールにわたり存在する場合、階層的構造が解釈可能性とパフォーマンスを向上させることを示すこと。

提案手法

• アルゴリズムは全ノードが1つのコミュニティに属する状態から開始され、再帰的にスペクトルクラスタリングを用いてコミュニティを2つに分割する。
• 各ステップで、ネットワークの隣接行列の主要固有ベクトルを用い、正規化カット基準に基づいて分割が決定される。
• 固有値ギャップまたはモジュラリティに基づく停止ルールにより、意味のある追加の分割が存在しなくなるまでプロセスを継続する。
• この手法はモデルフリーであり、停止ルールの選択以外にはチューニングを必要としない。
• 理論的分析は、コミュニティ構造が確率的に定義された二分木に従うと仮定する二分木確率的ブロックモデルの下で行われる。
• 安定性と解釈可能性を向上させるために、コアネットワーク抽出ステップを用いて実データセットに適用する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルクラスタリングによる再帰的分割は、標準的なK-分割クラスタリングよりも、ネットワークにおける真の階層的コミュニティ構造をより正確に回復できるか？
• RQ2 階層的コミュニティ検出は、回復精度の観点で、平坦なK-分割クラスタリングをどの条件下で上回るのか？
• RQ3 Kの事前知識なしに、正しい階層的レベルでアルゴリズムが停止するように、停止ルールをどのように設計できるか？
• RQ4 well-definedな確率的モデルに基づく階層的ネットワークに対して、再帰的分割アプローチは理論的に一貫性を持つのか？
• RQ5 この手法は、遺伝子共発現ネットワークや引用ネットワークのような実世界のネットワークにおいて、科学的に意味のあるコミュニティ階層を明らかにできるか？

主な発見

• 再帰的分割アルゴリズムは、二分木確率的ブロックモデル下で、やや厳しい条件下でも高い確率で真のコミュニティ階層全体を一貫して回復する。
• コミュニティ構造が階層的にネストされており、Kが大きい状況では、標準的なK-分割スペクトルクラスタリングを上回る性能を示す。
• 遺伝子共発現ネットワークでは、6つの生物学的に意味のあるクラスタが、科学的に解釈可能な階層構造として同定された。
• 統計学の引用ネットワークでは、15の明確な研究コミュニティが、専門家による分野の知識とよく一致するはっきりとしたデンドログラム構造として明らかになった。
• 階層的構造は、コミュニティ間の類似性やネスト関係を明らかにするため、平坦な分割よりも解釈可能性に優れている。
• アルゴリズムは計算的に効率的であり、停止ルールの選択以外にはチューニングを必要としないため、大規模ネットワークに対しても実用的である。