[論文レビュー] Sampling Content Distributed Over Graphs

Pinghui Wang, Junzhou Zhao+3 more|arXiv (Cornell University)|Nov 13, 2013

Caching and Content Delivery参考文献 26被引用数 4

ひとこと要約

本稿では、コンテンツが頂点間に複製される大規模グラフにおけるコンテンツ分布を正確に推定するための、2つの効率的で漸近的に不偏な推定器—Special Copy Estimator (SCE) および Weighted Copy Estimator (WCE)—を提案する。ナーブなサンプリングとは異なり、高コピー数のコンテンツが過剰に代表されるため深刻なバイアスが生じるが、SCE と WCE はサンプリングされたコンテンツのメタデータを用いてこのバイアスを補正する。実験では WCE が優れた精度を示した。

ABSTRACT

Despite recent effort to estimate topology characteristics of large graphs (i.e., online social networks and peer-to-peer networks), little attention has been given to develop a formal methodology to characterize the vast amount of content distributed over these networks. Due to the large scale nature of these networks, exhaustive enumeration of this content is computationally prohibitive. In this paper, we show how one can obtain content properties by sampling only a small fraction of vertices. We first show that when sampling is naively applied, this can produce a huge bias in content statistics (i.e., average number of content duplications). To remove this bias, one may use maximum likelihood estimation to estimate content characteristics. However our experimental results show that one needs to sample most vertices in the graph to obtain accurate statistics using such a method. To address this challenge, we propose two efficient estimators: special copy estimator (SCE) and weighted copy estimator (WCE) to measure content characteristics using available information in sampled contents. SCE uses the special content copy indicator to compute the estimate, while WCE derives the estimate based on meta-information in sampled vertices. We perform experiments to show WCE and SCE are cost effective and also ``{\em asymptotically unbiased}''. Our methodology provides a new tool for researchers to efficiently query content distributed in large scale networks.

研究の動機と目的

• オンラインソーシャルネットワークやP2Pシステムのような大規模ネットワークにおけるコンテンツ特徴（例：複製度、ファイル形式）を推定する課題に対処する。
• ナーブなサンプリングが、高コピー数のコンテンツがサンプルに過剰に含まれるため、深刻なバイアスを生じることを特定する。
• 正確な推定にほぼすべての頂点をサンプリングする必要があるため、実用的でない最大尤度推定（MLE）の限界を克服する。
• 利用可能なメタデータを用いて、効率的で低コストな推定器を開発し、正確で漸近的に不偏な推定を達成する。
• 既存のグラフサンプリング研究がトポロジーに焦点を当てているのに対し、コンテンツに焦点を当てた大規模グラフにおけるコンテンツ分布の測定のための形式的枠組みを提供する。

提案手法

• サンプリングされたコンテンツコピーがソースか複製かを特定するインジケータを用いる Special Copy Estimator (SCE) を提案し、コピーの出所に基づいたバイアス補正を可能にする。
• サンプリングされた頂点からのメタ情報（例：コピー数、ソースインジケータ）を活用して重みを割り当て、推定バイアスを低減する Weighted Copy Estimator (WCE) を導入する。
• コンテンツ分布推定を統計的推論問題として定式化し、グラフ全体におけるラベル lk を持つコンテンツの割合 ωk を推定することを目的とする。
• バイアス補正のベースラインとして最大尤度推定（MLE）を用いるが、サンプリング要件が高いため実用的でないことを示す。
• SCE と WCE が漸近的に不偏であることを示し、サンプルサイズが増加するにつれて推定誤差が減少することを確認する。
• 実世界のデータセット（例：Sina Weibo マイクロブログ、P2Pネットワーク）に推定器を適用し、性能と頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ナーブなサンプリングは、コンテンツ複製度の推定において、どのようなバイアスを生じるか？
• RQ2 最大尤度推定（MLE）は理論的には不偏であるが、なぜ大規模グラフにおけるコンテンツ分布推定には効果的でないのか？
• RQ3 サンプリングされたコンテンツからのメタデータのみを用いて、サンプリングバイアスを是正する効率的な推定器を設計できるか？
• RQ4 SCE と WCE は、異なるグラフタイプにおいてコンテンツ分布を推定する際、精度と効率の点でどのように比較されるか？
• RQ5 従来のグラフサンプリング手法と比較して、WCE と SCE は最小限のサンプリングで推定誤差をどの程度低減できるか？

主な発見

• ナーブなサンプリングはコンテンツ統計に顕著なバイアスを生じさせ、特に高頻度に複製されたコンテンツの出現頻度を過剰に推定する。
• 最大尤度推定（MLE）はバイアスを是正できるが、妥当な精度を得るにはほぼすべての頂点をサンプリングする必要があり、大規模ネットワークでは実用的でない。
• 提案された Weighted Copy Estimator (WCE) は、評価されたすべてのデータセットで Special Copy Estimator (SCE) よりも高い精度を示した。
• WCE は漸近的に不偏であり、サンプルサイズが増加するにつれて推定誤差がゼロに収束する。
• Sina Weibo における実験では、youku.com や tudou.com から提供された動画ツイートの平均リツイート数（5.57 および 9.87）とリプレイ数（9.68 および 13.73）が顕著に高く、外部コンテンツの強い影響を示している。
• 本研究では、WCE を用いたコンテンツ分布推定が、BFS や RW、MHRW といった従来のサンプリング手法よりも、大規模グラフにおけるコンテンツレベルの指標を測定する際により正確であることを示した。