[論文レビュー] Walking on a Graph with a Magnifying Glass: Stratified Sampling via Weighted Random Walks

Maciej Kurant, Minas Gjoka+2 more|arXiv (Cornell University)|Jan 28, 2011

Complex Network Analysis Techniques参考文献 33被引用数 13

ひとこと要約

本稿では、完全に未知のグラフに対して、推定精度と収束速度のバランスをとった効率的なグラフサンプリングのためのヒューリスティック手法である階層的加重ランダムウォーク（S-WRW）を提案する。階層的サンプリングの原則に従って誘導される加重ランダムウォークを活用することで、S-WRWは、Facebookのような実世界のソーシャルネットワークにおいて、標準的な再加重ランダムウォークと比較して13–15倍のサンプリング効率を達成する。

ABSTRACT

Our objective is to sample the node set of a large unknown graph via crawling, to accurately estimate a given metric of interest. We design a random walk on an appropriately defined weighted graph that achieves high efficiency by preferentially crawling those nodes and edges that convey greater information regarding the target metric. Our approach begins by employing the theory of stratification to find optimal node weights, for a given estimation problem, under an independence sampler. While optimal under independence sampling, these weights may be impractical under graph crawling due to constraints arising from the structure of the graph. Therefore, the edge weights for our random walk should be chosen so as to lead to an equilibrium distribution that strikes a balance between approximating the optimal weights under an independence sampler and achieving fast convergence. We propose a heuristic approach (stratified weighted random walk, or S-WRW) that achieves this goal, while using only limited information about the graph structure and the node properties. We evaluate our technique in simulation, and experimentally, by collecting a sample of Facebook college users. We show that S-WRW requires 13-15 times fewer samples than the simple re-weighted random walk (RW) to achieve the same estimation accuracy for a range of metrics.

研究の動機と目的

• 完全なサンプリングフレームが入手できない大規模かつ未知のグラフを、効率的にサンプリングする課題に対処すること。
• 情報量が少ないノードにサンプルを無駄に費やすと同時に収束が遅い単純なランダムウォークの限界を克服すること。
• 加重インスタンスサンプリング（WIS）の最適性とクローリングベースのランダムウォークの実用性の両方をバランスさせること。
• 最小限の構造的およびノード属性情報に基づいて、高インパクトなノードへとサンプリングを誘導するヒューリスティックを開発すること。
• 実世界のネットワーク、例えばFacebookのようなネットワークにおいて、ノードレベルの指標（例：中央値収入）の推定精度を高めること。

提案手法

• 独立サンプラー下での最適なノードサンプリング重み（π^WIS）を導出するために、階層的サンプリング理論を用いて問題を定式化する。
• エッジ重みを調整することで、均衡分布π^WRWがπ^WISに近づくように、グラフ上に加重ランダムウォーク（WRW）を設計する。同時に、高速な混合を保証する。
• ノードの重要度と局所的グラフ構造に基づいてエッジ重みを調整することにより、WIS最適性と高速収束の両立を図るヒューリスティックとしてS-WRWを提案する。
• 完全なグラフ知識を必要とせず、ノード属性および局所的接続性の限定的知識を用いて重みを推定する。
• エッジ重みから導かれる遷移確率に従って、グラフを段階的に探索し、ノードをサンプリングする。
• 得られるサンプリング分布が最適なWIS重みを近似しつつ、接続性を維持し、収束が遅くなる「ブラックホール」や非収束を回避する。

実験結果

リサーチクエスチョン

• RQ1 大規模で未知のグラフにおいて、ノードレベルの指標の推定精度を高めるクローリングベースのサンプリング手法をどのように設計できるか？
• RQ2 グラフ上のランダムウォークにおいて、最適なサンプリング重み（WISから得られるもの）を達成することと、高速な収束を確保することのトレードオフは何か？
• RQ3 実世界のグラフクローリングに実用的であると同時に、最適な階層的サンプリング分布を近似できる加重ランダムウォークを設計できるか？
• RQ4 S-WRWは、標準的な再加重ランダムウォークと比較して、サンプリング効率および推定精度の点でどのように異なるか？
• RQ5 WISに類似した重みをクローリング環境に直接適用する際の実用的限界は何か？ そして、それらの限界はどのように緩和できるか？

主な発見

• S-WRWは、Facebookソーシャルグラフ上で、単純な再加重ランダムウォークと比較して、ある推定精度に到達するためのサンプル数を13–15倍削減する。
• 提案手法は、最適なWISサンプリング分布をうまく近似している一方で、混合が速いため、直接的なWRW実装で見られる非収束問題を回避している。
• S-WRWは、シミュレーションおよびFacebookデータを用いた実世界実験の両方において、単純な再加重ランダムウォークを含む最先端のクローリング技術を上回っている。
• グラフ構造およびノード属性に関する知識が限定的であっても、本手法は頑健であるため、実世界への導入に実用的である。
• 実証的評価により、S-WRWは、まれだが重要なノードタイプに敏感な指標（例：小規模な人口）を含む多様な指標においても高い精度を達成することが確認された。
• S-WRWのヒューリスティック設計は、推定最適性と収束速度の両立を効果的に図っており、実世界の環境において、既存の手法に実用的優位性を示している。