[論文レビュー] A Comparison of Techniques for Sampling Web Pages

Eda Baykan, Monika Henzinger+3 more|ArXiv.org|Feb 10, 2009

Web Data Mining and Analysis参考文献 13被引用数 7

ひとこと要約

この論文は、同一条件下で、三つのランダムウォークベースのウェブサンプリングアルゴリズム—A、B、およびC—を比較し、そのバイアスと代表性を評価する。アルゴリズムAとBは、低アウトディグリーを持つホストに「閉じ込められる」ことにより深刻なバイアスを示すが、Cは高ページランクおよび高アウトディグリーのページに強くバイアスされているものの、ほとんど閉じ込められない。研究の結論として、アルゴリズムBに状態サブサンプリングを適用したものが、三つのアルゴリズムの中で最も優れた代表性を示す。

ABSTRACT

As the World Wide Web is growing rapidly, it is getting increasingly challenging to gather representative information about it. Instead of crawling the web exhaustively one has to resort to other techniques like sampling to determine the properties of the web. A uniform random sample of the web would be useful to determine the percentage of web pages in a specific language, on a topic or in a top level domain. Unfortunately, no approach has been shown to sample the web pages in an unbiased way. Three promising web sampling algorithms are based on random walks. They each have been evaluated individually, but making a comparison on different data sets is not possible. We directly compare these algorithms in this paper. We performed three random walks on the web under the same conditions and analyzed their outcomes in detail. We discuss the strengths and the weaknesses of each algorithm and propose improvements based on experimental results.

研究の動機と目的

• 同一の実験条件下で、三つのランダムウォークベースのウェブサンプリングアルゴリズム（A、B、C）の代表性を評価・比較すること。
• 特にホストの接続性、アウトディグリー、ページランク、コンテンツ長に関する、各アルゴリズムのサンプリング行動におけるバイアスを特定・分析すること。
• ステップと状態の異なるサブサンプリング戦略が、サンプルの質とバイアスに与える影響を評価すること。
• 実験的発見に基づく改善策を提案すること、特にアルゴリズムAとBにおける『閉じ込め』問題の解消を目的とする。

提案手法

• 同一の計算リソースと時間制約のもとで、アルゴリズムA、B、Cを用いて三度の独立したランダムウォークを実行した。
• 複数のサブサンプリング技術を適用：最後の半分または四分の一のステップから選択する方法、およびステップではなく状態をサブサンプリングすることでホスト特有のバイアスを低減する方法。
• 初期ノードバイアスを最小限に抑えるために、同じ開始ノードとウェブクロール時間を使用した。
• ホスト頻度、アウトディグリー、トップレベルドメイン、ドキュメントコンテンツ長、ページランクといった主要指標におけるサンプル分布を分析した。
• サンプルの分布を比較し、代表性と系統的なバイアスを特定した。
• ステップからのサブサンプリングと状態からのサブサンプリングの影響を評価し、ステップベースのサブサンプリングがホストレベルのバイアスを強化することを観察した。

実験結果

リサーチクエスチョン

• RQ1 三つのランダムウォークベースのサンプリングアルゴリズム（A、B、C）は、ウェブの主要指標において、どのように代表性の面で比較されるか？
• RQ2 なぜアルゴリズムAとBは、アウトエッジが少なく内部接続性の高いホストに強くバイアスを示すのか？
• RQ3 アルゴリズムCの設計は、どの程度高ページランクおよび高アウトディグリーのウェブページにバイアスをもたらすのか？
• RQ4 ステップからのサブサンプリングと状態からのサブサンプリングのどちらが、各アルゴリズムに対してより代表的なサンプルをもたらすか？
• RQ5 アルゴリズムCと同様に、定期的なランダムリセットを導入することで、アルゴリズムAとBにおける『閉じ込め』行動を軽減できるか？

主な発見

• アルゴリズムAとBは、多くの連続訪問後にホストから抜け出せない『閉じ込め』行動が頻発するため、アウトエッジが少なく内部接続性の高いホストに深刻なバイアスを示す。
• アルゴリズムCは、ランダムリセット機構のおかげで実験中に一度も閉じ込められなかったが、高ページランクおよび高アウトディグリーのウェブページに強くバイアスされている。
• AとBのサンプルにおいて30％を超えるノードがたった3つのホストに属しており、ホストの分布が著しく偏っており、代表性が低いことが示された。
• ステップではなく状態からのサブサンプリングは、ホストレベルのバイアスを顕著に低減した。特にAとBのサンプルでは、ステップからのサブサンプリング時にコンテンツ長およびホスト頻度のピークが観察された。
• サブサンプリング戦略はAとBのサンプルに大きな影響を与えたが、Cのサンプルにはわずかな影響にとどまった。これは、Cのバイアスがそのウォークメカニズムそのものに内在していることを示している。
• AとBのサンプルの性能差は、訪問したノードの集合ではなく、サブサンプリング確率（次数に反比例する vs. 均一）の違いによるものであり、ノード集合はほぼ同一であった。