[論文レビュー] Practical Characterization of Large Networks Using Neighborhood Information

Pinghui Wang, Bruno Ribeiro+4 more|arXiv (Cornell University)|Nov 13, 2013

Complex Network Analysis Techniques参考文献 23被引用数 7

ひとこと要約

本稿では、ノードクエリから得られる近隣情報を利用することで、ノードおよびエッジラベル密度などのネットワーク特性を、証明可能に不偏な収束性と高い精度で推定する、新しいランダムウォークベースのサンプリング手法を提案する。ノードクエリに伴う構造的データを追加コストなしに活用することで、大規模なオンラインソーシャルネットワーク（OSN）において、最先端の手法と比較して必要なサンプル数を4倍に削減する。

ABSTRACT

Characterizing large online social networks (OSNs) through node querying is a challenging task. OSNs often impose severe constraints on the query rate, hence limiting the sample size to a small fraction of the total network. Various ad-hoc subgraph sampling methods have been proposed, but many of them give biased estimates and no theoretical basis on the accuracy. In this work, we focus on developing sampling methods for OSNs where querying a node also reveals partial structural information about its neighbors. Our methods are optimized for NoSQL graph databases (if the database can be accessed directly), or utilize Web API available on most major OSNs for graph sampling. We show that our sampling method has provable convergence guarantees on being an unbiased estimator, and it is more accurate than current state-of-the-art methods. We characterize metrics such as node label density estimation and edge label density estimation, two of the most fundamental network characteristics from which other network characteristics can be derived. We evaluate our methods on-the-fly over several live networks using their native APIs. Our simulation studies over a variety of offline datasets show that by including neighborhood information, our method drastically (4-fold) reduces the number of samples required to achieve the same estimation accuracy of state-of-the-art methods.

研究の動機と目的

• 限られたクエリレートとランダムサンプリングプリミティブの欠如という制約のもとで、大規模なオンラインソーシャルネットワーク（OSN）の特性を同定する課題に対処すること。
• ランダムノードサンプリングやエッジ走査に依存する従来のサブグラフサンプリング手法に見られるバイアスと、精度保証の欠如を克服すること。
• ノードクエリから容易に入手可能な近隣情報（例：近隣ノードの次数、ラベル）を活用し、追加のクエリコストなしに推定精度を向上させること。
• NoSQLグラフデータベースと主要OSNのWeb APIとの両方に対応するサンプリングフレームワークを構築し、実用的導入を可能にすること。
• ノードおよびエッジラベル密度といった主要ネットワーク指標について、理論的収束性と不偏推定の保証を提供すること。

提案手法

• ノードクエリ応答から得られる近隣情報を統合できるように、ランダムウォークベースの手法であるフロントリサンプリング（FS）を拡張する。
• 近隣データ（例：ラベル、次数）を用いて、ノードラベル密度およびエッジラベル密度の推定器を改善し、精度を向上させる。
• 近隣情報の統合によって生じる次数バイアスを補正するため、サンプリング重みを慎重に調整することで、証明可能な収束性と不偏推定を維持する。
• Kurantらの手法など、既存の重み付きランダムウォーク技術と統合することで、さらに精度を向上させる。
• Foursquare や Pinterest などの実際のOSNで動作するネイティブWeb APIを用いて推定器を実装し、実世界での評価を実施する。
• 実際のOSNにおいて、平均パス長や次数分布といったネットワーク特性の推定に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ノードクエリからの近隣情報は、大規模なOSNにおけるネットワーク特性推定の精度向上に利用可能か？
• RQ2 ランダムウォークベースのサンプリングフレームワークに近隣データを統合しても、不偏推定と収束保証は維持されるか？
• RQ3 最先端の手法と比較して、近隣情報を組み込むことで、どの程度サンプル数の削減が達成できるか？
• RQ4 ノードおよびエッジラベル密度といった基本的指標の推定に、近隣情報が及ぼす影響は何か？
• RQ5 実世界のOSNにおける既知の値と比較して、推定されたネットワーク特性（例：平均パス長、次数分布）はどの程度の精度で得られるか？

主な発見

• 提案手法は、最先端の手法と同等の推定精度を達成するためのサンプル数を4倍に削減する。
• 近隣情報を統合しても、証明可能な不偏収束性と精度保証を維持する。
• Foursquareの次数分布には重い尾部が見られず、一部の先行モデルの仮定とは矛盾する。
• Foursquareにおける平均パス長は5.8と推定され、Twitter（4.1）とMSN Messenger（6.6）の間にあるため、本手法の精度が妥当であることが裏付けられる。
• 本手法は、Foursquare、Pinterest、Sina Weibo、Xiamiなど、近隣データがAPI応答に含まれる多様なOSNにおいて有効である。
• 本手法はNoSQLグラフデータベースとWeb APIの両方と互換性があり、実世界のプラットフォームへの実用的導入が可能である。