[論文レビュー] Network Cross-Validation for Determining the Number of Communities in Network Data

Kehui Chen, Jing Lei|arXiv (Cornell University)|Nov 6, 2014

Complex Network Analysis Techniques参考文献 36被引用数 11

ひとこと要約

本稿では、ブロック単位のノードペア分割手法を用いて、計算効率が高くチューニングパラメータを必要としないコミュニティ数の選択法であるネットワーク交差検証（NCV）を提案する。弱い条件下でも、ネットワークサイズが増加するにつれて、コミュニティの過小選択を一貫して回避することを証明しており、シミュレーションおよび実データ例において、既存手法を上回る性能を示す。

ABSTRACT

The stochastic block model and its variants have been a popular tool in analyzing large network data with community structures. In this paper we develop an efficient network cross-validation (NCV) approach to determine the number of communities, as well as to choose between the regular stochastic block model and the degree corrected block model. The proposed NCV method is based on a block-wise node-pair splitting technique, combined with an integrated step of community recovery using sub-blocks of the adjacency matrix. We prove that the probability of under selection vanishes as the number of node increases, under mild conditions satisfied by a wide range of popular community recovery algorithms. The solid performance of our method is also demonstrated in extensive simulations and a data example.

研究の動機と目的

• Kの事前知識を必要とせずに、ストーキスティックブロックモデルにおけるコミュニティ数の選択という、長年の課題に取り組むこと。
• 交差検証の枠組みを用いて、チューニングパラメータを含め、数-fold 以外はすべて自由な、計算効率が高く、チューニングが不要なモデル選択手法を開発すること。
• 一般的なコミュニティ回復アルゴリズムに適用可能な広範な条件下で、コミュニティ数選択の理論的整合性を確立すること。
• 標準的ストーキスティックブロックモデルと次数補正ブロックモデルを区別できるように、この手法を拡張すること。

提案手法

• NCVはブロック単位のノードペア分割戦略を用いる：ノードを2つのグループに分け、一方のグループからすべての他のグループへのエッジをフィッティングに使用し、もう一方のグループ内のエッジをテストに使用する。
• 交差検証中にノード所属を固定パrameterとして扱うことで、フィッティングセットからのコミュニティごとのエッジ確率の一貫した推定が可能になる。
• 隣接行列の部分ブロックにおけるコミュニティ回復と、V-fold交差検証フレームワークを組み合わせることで、Kの候補値ごとのモデル性能を評価する。
• コミュニティ所属が与えられたもとで、フィッティング集合とテスト集合の間の条件付き独立性を活用することで、妥当なモデル評価が保証される。
• この手法は一般性があり、スペクトルクラスタリングやモジュラリティ最適化を含む、さまざまなコミュニティ検出アルゴリズムと組み合わせて使用可能である。
• 理論的分析により、回復アルゴリズムに弱い正則性条件が課せられる限り、n → ∞ のとき、過小選択の確率が0に収束することが示された。

実験結果

リサーチクエスチョン

• RQ1 ネットワークデータに適応可能な交差検証フレームワークを設計することで、コミュニティ数の選択を計算的に効率的かつ理論的根拠をもって行えるか。
• RQ2 ネットワークサイズが増加するにつれて、提案されたNCV手法が真のコミュニティ数の過小選択を高確率で回避するか。
• RQ3 ノード単位の分割や他の交差検証設計と比較して、ブロック単位のノードペア分割戦略が、モデル選択性能をどのように向上させるか。
• RQ4 NCVは、標準的ストーキスティックブロックモデルと次数補正ブロックモデルを信頼性高く区別できるか。
• RQ5 さまざまなコミュニティ回復アルゴリズムにわたって、NCVが一貫したコミュニティ数選択を達成するための理論的条件は何か。

主な発見

• ノード数が増加するにつれて、弱い正則性条件下で、コミュニティ数の過小選択確率は0に収束する。
• NCVは計算的に効率的であり、1フォールドあたり1回のモデルフィットのみを要し、数-fold を除きチューニングパラメータを一切必要としない。
• スペクトルクラスタリングやモジュラリティベースの最適化を含む、幅広い代表的なアルゴリズムにおいて、一貫したコミュニティ回復を達成する。
• 理論的分析により、推定されたコミュニティ構造は、高確率で真の構造と一致し、O(√(n/αₙ)) 個のノードを除いてすべてで一致することが確認された。
• 推定されたエッジ確率行列は真の値に収束し、エッジ確率推定値の差が o(n⁻¹/³) に収束するため、信頼性の高いモデル評価が可能である。
• 実験的結果は、シミュレーションおよび1つの実データ例において優れた性能を示しており、ロバストネスと実用的有用性が裏付けられた。