[논문 리뷰] A note on quickly sampling a sparse matrix with low rank expectation

Karl Rohe, Jun Tao외 2명|arXiv (Cornell University)|2017. 03. 08.

Complex Network Analysis Techniques참고 문헌 10인용 수 3

한 줄 요약

이 논문은 $E(A) = XSY^T$ 형태의 낮은 질서를 가진 기대값을 갖는 희박한 무작위 그래프를 효율적으로 샘플링하는 fastRG 알고리즘을 소개한다. 여기서 $X$, $S$, $Y$는 비음수 행렬이다. 먼저 총 간선 수 $m$을 평균 $\sum_{u,v} \tilde{S}_{uv}$를 갖는 포아송 분포에서 샘플링한 후, 정규화된 행렬 $\tilde{X}$, $\tilde{S}$, $\tilde{Y}$로부터 유도된 가중 확률을 사용해 각 간선을 샘플링함으로써, 희박한 그래프($m = O(n)$)에 대해 $O(n)$ 시간 복잡도를 달성하며, 기존의 $O(n^2)$ 요소별 접근 방식보다 뚜렷이 빠르다.

ABSTRACT

Given matrices $X,Y \in R^{n imes K}$ and $S \in R^{K imes K}$ with positive elements, this paper proposes an algorithm fastRG to sample a sparse matrix $A$ with low rank expectation $E(A) = XSY^T$ and independent Poisson elements. This allows for quickly sampling from a broad class of stochastic blockmodel graphs (degree-corrected, mixed membership, overlapping) all of which are specific parameterizations of the generalized random product graph model defined in Section 2.2. The basic idea of fastRG is to first sample the number of edges $m$ and then sample each edge. The key insight is that because of the the low rank expectation, it is easy to sample individual edges. The naive "element-wise" algorithm requires $O(n^2)$ operations to generate the $n imes n$ adjacency matrix $A$. In sparse graphs, where $m = O(n)$, ignoring log terms, fastRG runs in time $O(n)$. An implementation in fastRG is available on github. A computational experiment in Section 2.4 simulates graphs up to $n=10,000,000$ nodes with $m = 100,000,000$ edges. For example, on a graph with $n=500,000$ and $m = 5,000,000$, fastRG runs in less than one second on a 3.5 GHz Intel i5.

연구 동기 및 목표

• 희박한 기대값을 가진 무작위 그래프를 시뮬레이션할 때 발생하는 계산적 병목 현상을 해결하기 위해.
• 희박한 그래프에서 요소별 생성 방식의 $O(n^2)$ 비용을 피할 수 있는 효율적인 샘플링 알고리즘을 개발하기 위해.
• 일관된 일반화된 무작위 곱 그래프 모델 아래에서 다양한 스토케스틱 블록모델 클래스(예: 정도 보정형, 혼합 소속, 겹치는 SBM)의 신속한 시뮬레이션을 가능하게 하기 위해.
• 희박한 그래프에서 $m = O(n)$ 간선을 가진 경우 near-linear 시간 성능을 달성하기 위해.

제안 방법

• fastRG는 총 간선 수 $m$을 $\sum_{u,v} \tilde{S}_{uv}$를 평균으로 갖는 포아송 분포에서 샘플링한다. 여기서 $\tilde{S} = C_X S C_Y$이다.
• latent feature 행렬 $X$와 $Y$를 $\tilde{X} = X C_X^{-1}$ 및 $\tilde{Y} = Y C_Y^{-1}$로 정규화하여 간선 샘플링 확률을 정의한다.
• 각 간선은 순차적으로 샘플링되며, 먼저 $\tilde{S}_{uv}$ 비례 확률로 잠재 블록 $U \in \{1,\dots,K_x\}$ 및 $V \in \{1,\dots,K_y\}$를 선택한다.
• 그 후, 노드 $I$와 $J$는 각각 $\tilde{X}_{iU}$ 및 $\tilde{Y}_{jV}$ 비례 확률로 선택되며, 이는 다중 간선을 허용한다.
• 이 알고리즘은 유방향, 다중 간선, 자기 순환 간선을 포함한 그래프를 지원하며, 후처리를 통해 단순 그래프로 변환할 수 있다.
• 이론적 근거는 총 간선 수 조건부에서 조건부 확률을 적용하고, 독립적인 포아송 변수 벡터가 합에 조건부일 때 다항분포로 변환된다는 고전적 결과에 기반한다.

실험 결과

연구 질문

• RQ1 희박한 기대값을 가진 무작위 그래프를 $O(n^2)$ 가 아니라 $O(n)$ 시간 내에 샘플링할 수 있는가?
• RQ2 일반화된 무작위 곱 그래프 모델에서, 특히 정도 보정형 및 겹치는 스토케스틱 블록모델을 포함해 효율적으로 그래프를 생성할 수 있는가?
• RQ3 대규모 네트워크에서 fastRG는 기존의 요소별 샘플링 방식에 비해 얼마나 높은 계산 성능 향상을 달성하는가?
• RQ4 fastRG를 사용해 제어 가능한 오차 범위 내에서 베르누이 간선 그래프를 근사화할 수 있는가?

주요 결과

• fastRG는 $m = O(n)$ 간선을 가진 희박한 그래프에 대해 $O(n)$ 시간 복잡도로 실행되어 near-linear 성능을 달성한다.
• 노드 수 $n = 500,000$, 간선 수 $m = 5,000,000$인 그래프에서, 3.5 GHz 인텔 i5 프로세서에서 fastRG는 1초 이내에 완료된다.
• 알고리즘은 일반화된 무작위 곱 그래프 모델에서 정확하게 샘플링하며, $E(A) = XSY^T$를 만족하고, 간선 샘플링 확률이 총 간선 수 조건부에서 다항분포와 일치함을 보장한다.
• 이론적 분석을 통해 fastRG는 정확한 분포를 갖는 그래프를 생성함을 확인하였으며, 임의의 인접행렬 $a$에 대해 $\mathbb{P}(A = a) = \mathbb{P}(\tilde{A} = a)$임을 증명하였다.
• 이 방법은 평균 차수 $\alpha_n$에 대해 기대 $L^2$ 오차가 $O(\alpha_n^2)$인 베르누이 간선 그래프를 정확하게 근사화할 수 있다.
• R 구현체는 GitHub에 공개되어 있어 재현성과 네트워크 시뮬레이션 파이프라인에의 통합을 가능하게 한다.