[論文レビュー] A note on quickly sampling a sparse matrix with low rank expectation

Karl Rohe, Jun Tao+2 more|arXiv (Cornell University)|Mar 8, 2017

Complex Network Analysis Techniques参考文献 10被引用数 3

ひとこと要約

この論文は、非負行列 $X$、$S$、$Y$ を用いて低ランクの期待値 $E(A) = XSY^T$ を持つスパースなランダムグラフを高速にサンプリングするアルゴリズム fastRG を紹介する。まず、$\sum_{u,v} \tilde{S}_{uv}$ を平均とするポアソン分布からエッジ総数 $m$ をサンプリングし、その後、正規化された行列 $\tilde{X}$、$\tilde{S}$、$\tilde{Y}$ から導かれる重み付き確率に基づいてエッジを順次サンプリングすることで、スパースグラフ（$m = O(n)$）に対して $O(n)$ の時間計算量を達成し、要素ごとのアプローチ（$O(n^2)$）を著しく上回る性能を発揮する。

ABSTRACT

Given matrices $X,Y \in R^{n imes K}$ and $S \in R^{K imes K}$ with positive elements, this paper proposes an algorithm fastRG to sample a sparse matrix $A$ with low rank expectation $E(A) = XSY^T$ and independent Poisson elements. This allows for quickly sampling from a broad class of stochastic blockmodel graphs (degree-corrected, mixed membership, overlapping) all of which are specific parameterizations of the generalized random product graph model defined in Section 2.2. The basic idea of fastRG is to first sample the number of edges $m$ and then sample each edge. The key insight is that because of the the low rank expectation, it is easy to sample individual edges. The naive "element-wise" algorithm requires $O(n^2)$ operations to generate the $n imes n$ adjacency matrix $A$. In sparse graphs, where $m = O(n)$, ignoring log terms, fastRG runs in time $O(n)$. An implementation in fastRG is available on github. A computational experiment in Section 2.4 simulates graphs up to $n=10,000,000$ nodes with $m = 100,000,000$ edges. For example, on a graph with $n=500,000$ and $m = 5,000,000$, fastRG runs in less than one second on a 3.5 GHz Intel i5.

研究の動機と目的

• 低ランクの期待値を持つランダムグラフのシミュレーションにおける計算ボトルネックを解消すること。特に大規模ネットワーク解析を想定する。
• スパースグラフにおける要素ごとの生成コスト $O(n^2)$ を回避する効率的なサンプリングアルゴリズムの開発。
• 統一的な一般化されたランダムプロダクトグラフモデルの下で、多様な確率的ブロックモデル（例：度数補正型、混合所属型、重複ブロック型 SBM）の高速シミュレーションを可能とすること。
• スパースグラフ（$m = O(n)$ エッジ）に対して、ほぼ線形時間のサンプリング性能を達成すること。

提案手法

• fastRG は、$\tilde{S} = C_X S C_Y$ であるとき、$\sum_{u,v} \tilde{S}_{uv}$ を平均とするポアソン分布からエッジ総数 $m$ をサンプリングする。
• 潜在的特徴行列 $X$ と $Y$ を $\tilde{X} = X C_X^{-1}$ および $\tilde{Y} = Y C_Y^{-1}$ に正規化し、エッジのサンプリング確率を定義する。
• 各エッジは、まず $\tilde{S}_{uv}$ 比例の確率で潜在的ブロック $U \in \{1,\dots,K_x\}$ と $V \in \{1,\dots,K_y\}$ を選択することで順次サンプリングされる。
• 次に、ノード $I$ と $J$ はそれぞれ確率 $\tilde{X}_{iU}$ および $\tilde{Y}_{jV}$ で選択され、多重エッジを許容する。
• アルゴリズムは有向グラフ、多重エッジ、自己ループをサポートし、後処理により単純グラフに変換可能である。
• 理論的裏付けは、エッジ総数を条件付きにした場合、独立なポアソン変数のベクトルがその和を条件としてマルチノミアル分布に従うという古典的結果に基づく。

実験結果

リサーチクエスチョン

• RQ1 スパースなランダムグラフを、$O(n^2)$ ではなく $O(n)$ 時間でサンプリングすることは可能か？
• RQ2 度数補正型や重複ブロック型の確率的ブロックモデルを含む、一般化されたランダムプロダクトグラフモデルから、効率的にグラフを生成する方法は何か？
• RQ3 大規模ネットワークにおいて、fastRG は要素ごとのサンプリング手法に比べてどの程度の計算パフォーマンス向上を達成できるか？
• RQ4 fastRG を用いて、制御可能な誤差でベルヌーイエッジグラフを近似できるか？

主な発見

• スパースグラフ（$m = O(n)$ エッジ）に対して、fastRG は $O(n)$ 時間で実行され、ほぼ線形の性能を達成する。
• ノード数 $n = 500,000$、エッジ数 $m = 5,000,000$ のグラフにおいて、3.5 GHz の Intel i5 プロセッサで fastRG は 1 秒未満で処理を完了する。
• アルゴリズムは一般化されたランダムプロダクトグラフモデル $E(A) = XSY^T$ から正しくサンプリングでき、エッジのサンプリング確率がエッジ総数を条件としたマルチノミアル分布と一致することを保証する。
• 理論的分析により、fastRG が正しい分布からグラフを生成することが確認され、任意の隣接行列 $a$ に対して $\mathbb{P}(A = a) = \mathbb{P}(\tilde{A} = a)$ を示した。
• ベルヌーイエッジグラフの正確な近似が、ポアソンエッジサンプリングを用いて可能であり、期待される $L^2$ 誤差は $O(\alpha_n^2)$ となる。ここで $\alpha_n$ は平均次数を表す。
• R 実装は GitHub で公開されており、再現性とネットワークシミュレーションパイプラインへの統合を可能としている。