[論文レビュー] Estimating the Size of a Large Network and its Communities from a Random Sample

Lin Chen, Amin Karbasi+1 more|PubMed|Oct 26, 2016

Complex Network Analysis Techniques参考文献 1被引用数 7

ひとこと要約

この論文は、ランダムな部分標本から大規模ネットワーク全体のサイズとそのコミュニティのサイズを正確に推定するベイズ推定アルゴリズムPulseを提案する。Pulseはストキャスティックブロックモデル（SBM）フレームワークを活用し、特に有限標本設定下で、相対誤差と分散がともに低いという点で、広く使われているネットワークスケールアップ推定器（NSUM）を上回る。さらに、コミュニティ固有のサイズ推定も可能である点で、NSUMに欠けている機能を有する。

ABSTRACT

Most real-world networks are too large to be measured or studied directly and there is substantial interest in estimating global network properties from smaller sub-samples. One of the most important global properties is the number of vertices/nodes in the network. Estimating the number of vertices in a large network is a major challenge in computer science, epidemiology, demography, and intelligence analysis. In this paper we consider a population random graph <i>G</i> = (<i>V, E</i>) from the stochastic block model (SBM) with <i>K</i> communities/blocks. A sample is obtained by randomly choosing a subset <i>W</i> ⊆ <i>V</i> and letting <i>G</i>(<i>W</i>) be the induced subgraph in <i>G</i> of the vertices in <i>W</i>. In addition to <i>G</i>(<i>W</i>), we observe the total degree of each sampled vertex and its block membership. Given this partial information, we propose an efficient PopULation Size Estimation algorithm, called PULSE, that accurately estimates the size of the whole population as well as the size of each community. To support our theoretical analysis, we perform an exhaustive set of experiments to study the effects of sample size, <i>K</i>, and SBM model parameters on the accuracy of the estimates. The experimental results also demonstrate that PULSE significantly outperforms a widely-used method called the network scale-up estimator in a wide variety of scenarios.

研究の動機と目的

• 完全な列挙が不可能な大規模で隠れたネットワークにおけるノード総数の推定という課題に対処すること。
• ノードとその次数のランダム部分標本が与えられたもとで、ネットワーク内に存在する個々のコミュニティのサイズを推定すること。
• 既存の手法（例：NSUM）が有限標本条件下でバイアスと高い分散を示す問題を克服し、精度と頑健性を両立する手法を開発すること。
• ネットワークサイズとコミュニティサイズの後部確率分布が明確に定義される、整合的なベイズフレームワークを提供すること。

提案手法

• Pulseは、K個のコミュニティを有するストキャスティックブロックモデル（SBM）としてネットワークをモデル化し、各ノードがブロック固有のエッジ確率を持つK個のブロックのいずれかに属するものとする。
• アルゴリズムはノードのランダム部分標本Wを観測し、これに含まれる誘導部分グラフG(W)、各ノードの次数d(v)、およびブロック所属情報を得る。
• PulseはSBM下で、総母集団サイズNとコミュニティサイズNiの後部分布を推定するベイズ推定アプローチを採用する。
• 後部モーメントが存在する理論的正則性条件を確立し、統計的整合性を保証する。
• 内部および外部コミュニティ間のエッジ確率を両方とも考慮する、尤度に基づく推論フレームワークを用いる。
• Pulseは、さまざまなSBMパラメータ、標本サイズ、コミュニティ構造を想定した広範なシミュレーションを通じて、頑健性と精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 観察可能なのはランダム部分標本のみであるが、大規模ネットワークのノード総数をどのように正確に推定できるか？
• RQ2 部分観測のもとで、ネットワーク内に存在する個々のコミュニティのサイズを同時に推定できるか？
• RQ3 さまざまなネットワーク構成において、PulseのNSUM（ネットワークスケールアップ推定器）に対する性能は、バイアス、分散、相対誤差の観点でどのように異なるか？
• RQ4 SBMフレームワーク下で、ネットワークサイズ推定のための後部分布が理論的に適切に定義される条件は何か？
• RQ5 標本サイズ、コミュニティ数K、コミュニティの凝集度（内部・外部エッジ密度の比）は、推定精度にどのように影響するか？

主な発見

• Pulseは、さまざまなネットワーク構成において、相対誤差と分散の両面でNSUMを顕著に上回る。
• NSUMは漸近的に不偏であるが、有限標本下では顕著なバイアスを示し、平均してネットワークサイズを過大推定する。中央値の相対誤差が常にゼロより大きいことから、この傾向は確認されている。
• Pulseは、ネットワーク総サイズNと個々のコミュニティサイズNiの両方について不偏推定を実現し、さまざまなコミュニティ凝集度レベルにおいて中央値の相対誤差がほぼゼロに近い。
• Pulseの推定分散はNSUMよりも常に低く、両手法ともサンプリング率（n/N）が高くなるほど精度が向上する。
• コミュニティ数Kが増加するにつれ、両手法の分散は増加するが、Pulseは高K設定下でも優れた性能を維持する。
• Pulseは、NSUMに欠けているコミュニティ固有のサイズ推定を実現しており、隠れたネットワークにおけるコミュニティレベルの推論に特に適している。