[논문 리뷰] Estimating the Size of a Large Network and its Communities from a Random Sample

Lin Chen, Amin Karbasi외 1명|PubMed|2016. 10. 26.

Complex Network Analysis Techniques참고 문헌 1인용 수 7

한 줄 요약

이 논문은 무작위 표본에서 큰 네트워크의 총 크기와 그 공동체 크기를 베이지안 추정 알고리즘인 Pulse를 통해 정확하게 추정하는 방법을 제안한다. 이 알고리즘은 스토하스틱 블록 모델(SBM) 프레임워크를 기반으로 하며, 널리 사용되는 네트워크 스케일업 추정기(NSUM)보다 유한 표본 설정에서 상대 오차와 분산이 더 낮아 성능이 뛰어나며, 공동체별 크기 추정 기능까지 제공한다. 이는 NSUM가 갖지 못하는 능력이다.

ABSTRACT

Most real-world networks are too large to be measured or studied directly and there is substantial interest in estimating global network properties from smaller sub-samples. One of the most important global properties is the number of vertices/nodes in the network. Estimating the number of vertices in a large network is a major challenge in computer science, epidemiology, demography, and intelligence analysis. In this paper we consider a population random graph <i>G</i> = (<i>V, E</i>) from the stochastic block model (SBM) with <i>K</i> communities/blocks. A sample is obtained by randomly choosing a subset <i>W</i> ⊆ <i>V</i> and letting <i>G</i>(<i>W</i>) be the induced subgraph in <i>G</i> of the vertices in <i>W</i>. In addition to <i>G</i>(<i>W</i>), we observe the total degree of each sampled vertex and its block membership. Given this partial information, we propose an efficient PopULation Size Estimation algorithm, called PULSE, that accurately estimates the size of the whole population as well as the size of each community. To support our theoretical analysis, we perform an exhaustive set of experiments to study the effects of sample size, <i>K</i>, and SBM model parameters on the accuracy of the estimates. The experimental results also demonstrate that PULSE significantly outperforms a widely-used method called the network scale-up estimator in a wide variety of scenarios.

연구 동기 및 목표

• 전체 열거가 불가능한 큰 은닉 네트워크에서 노드 총 수를 추정하는 문제를 해결하기 위해.
• 오직 랜덤으로 선택된 노드와 그들의 차수 정보만을 제공받을 때, 네트워크 내 개별 공동체의 크기를 추정하기 위해.
• 기존 방법들인 NSUM와 마찬가지로 유한 표본 조건에서도 편향과 높은 분산 문제를 겪지 않는 정확하고 강력한 방법을 개발하기 위해.
• 네트워크 크기와 공동체 크기의 사후 분포가 잘 정의된 원리적인 베이지안 프레임워크를 제공하기 위해.

제안 방법

• Pulse는 K개의 공동체를 가진 스토하스틱 블록 모델(SBM)로 네트워크를 모델링하며, 각 노드는 블록별로 다른 간선 확률을 가진다.
• 알고리즘은 노드의 랜덤 표본 W를 관측하며, 이에 포함된 유도된 부분그래프 G(W), 총 차수 d(v), 블록 소속 정보를 포함한다.
• Pulse는 SBM 하에서 총 인구 수 N과 공동체 크기 Ni의 사후 분포를 추론하기 위해 베이지안 추정 접근법을 사용한다.
• N의 사후 모멘트가 존재하는 이론적 정규성 조건을 확립하여 통계적 일致성을 보장한다.
• 이 방법은 내부 및 외부 공동체 간 간선 확률을 모두 고려하는 가능도 기반 추론 프레임워크를 사용한다.
• Pulse는 다양한 SBM 파라미터, 표본 크기, 공동체 구조를 대상으로 광범위한 시뮬레이션을 수행하여 강건성과 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 관측 가능한 랜덤 표본만을 가질 때, 대규모 네트워크의 총 노드 수를 어떻게 정확하게 추정할 수 있는가?
• RQ2 부분 관측된 정보로부터 네트워크 내 개별 공동체의 크기를 동시에 추정할 수 있는가?
• RQ3 Pulse의 성능은 네트워크 구성에 따라 NSUM와 비교해 편향, 분산, 상대 오차 측면에서 어떻게 다를까?
• RQ4 SBM 프레임워크에서 네트워크 크기 추정의 사후 분포가 이론적으로 잘 정의된 조건은 무엇인가?
• RQ5 표본 크기, 공동체 수 K, 공동체 밀도(내부 대 외부 간선 밀도)는 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• Pulse는 다양한 네트워크 구성에서 NSUM에 비해 상대 오차와 분산 측면에서 뚜렷이 뛰어난 성능을 보인다.
• NSUM는 渐近적으로 편향이 없지만, 실제로는 상당한 유한 표본 편향을 보이며, 중앙상대오차가 항상 0을 초과함으로써 평균적으로 네트워크 크기를 과대평가한다.
• Pulse는 총 네트워크 크기 N과 개별 공동체 크기 Ni에 대해 편향 없는 추정을 제공하며, 다양한 공동체 결속 수준에서 중앙상대오차가 거의 0에 가깝다.
• Pulse의 추정 분산은 NSUM보다 항상 낮으며, 두 방법 모두 표본 비율(n/N)이 증가할수록 정확도가 향상된다.
• 공동체 수 K가 증가함에 따라 두 방법의 분산 모두 증가하지만, Pulse는 고K 설정에서도 뛰어난 성능을 유지한다.
• Pulse는 NSUM가 갖지 못한 공동체별 크기 추정 기능을 성공적으로 제공하여, 은닉 네트워크에서 공동체 수준의 추론에 특화된 유일한 방법이 된다.