[论文解读] A Comparison of Techniques for Sampling Web Pages

Eda Baykan, Monika Henzinger+3 more|ArXiv.org|Feb 10, 2009

Web Data Mining and Analysis参考文献 13被引用 7

一句话总结

本文在相同条件下比较了三种基于随机游走的网页采样算法——算法 A、B 和 C，以评估其偏差和代表性。研究发现，算法 A 和 B 因在低出度主机上‘卡住’而存在严重偏差，而算法 C 虽极少出现卡住现象，但其采样结果强烈偏向高 PageRank 和高 outdegree 的网页。研究结论认为，在三种算法中，采用状态子采样的算法 B 表现最佳。

ABSTRACT

As the World Wide Web is growing rapidly, it is getting increasingly challenging to gather representative information about it. Instead of crawling the web exhaustively one has to resort to other techniques like sampling to determine the properties of the web. A uniform random sample of the web would be useful to determine the percentage of web pages in a specific language, on a topic or in a top level domain. Unfortunately, no approach has been shown to sample the web pages in an unbiased way. Three promising web sampling algorithms are based on random walks. They each have been evaluated individually, but making a comparison on different data sets is not possible. We directly compare these algorithms in this paper. We performed three random walks on the web under the same conditions and analyzed their outcomes in detail. We discuss the strengths and the weaknesses of each algorithm and propose improvements based on experimental results.

研究动机与目标

• 在相同实验条件下，评估并比较三种基于随机游走的网页采样算法（A、B 和 C）的代表性。
• 识别并分析每种算法采样行为中的偏差，特别是关于主机连通性、出度、PageRank 和内容长度方面的偏差。
• 确定不同子采样策略（按步骤 vs. 按状态）对样本质量和偏差的影响。
• 基于实验结果提出改进建议，尤其针对算法 A 和 B 中的‘卡住’问题。

提出的方法

• 在相同计算资源和时间限制下，对网页执行三次独立的随机游走，分别使用算法 A、B 和 C。
• 应用多种子采样技术：从最后半段或四分之一的步骤中选取，以及按状态而非步骤进行子采样，以减少主机相关的偏差。
• 使用相同的起始节点和网络爬行时长，以最小化初始节点偏差对比较的影响。
• 分析样本在关键指标上的分布情况：主机频率、出度、顶级域名、文档内容长度和 PageRank。
• 比较生成的样本，以评估其代表性并识别系统性偏差。
• 评估从步骤或状态中进行子采样的影响，注意到基于步骤的子采样会放大主机层面的偏差。

实验结果

研究问题

• RQ1 在关键网页指标方面，三种基于随机游走的采样算法（A、B 和 C）在代表性方面如何比较？
• RQ2 为何算法 A 和 B 在出边较少且内部连通性高的主机上表现出强烈偏差？
• RQ3 算法 C 的设计在多大程度上导致其偏向高 PageRank 和高出度网页？
• RQ4 从步骤或状态中进行子采样，哪种方式能为每种算法生成更具代表性的样本？
• RQ5 通过引入类似算法 C 的周期性随机重置，能否缓解算法 A 和 B 中的‘卡住’行为？

主要发现

• 算法 A 和 B 由于频繁在出边较少的主机上‘卡住’（即在多次连续访问后无法离开某主机），导致对内部高度连通但出度低的主机存在严重偏差。
• 算法 C 由于其随机重置机制，在实验中从未出现‘卡住’现象，但表现出对高 PageRank 和高出度网页的强烈偏向。
• A 和 B 样本中超过 30% 的节点属于仅三个主机，表明主机分布极差，代表性低。
• 与基于步骤的子采样相比，基于状态的子采样显著减少了主机层面的偏差，尤其对 A 和 B 样本而言，当从步骤中子采样时，其内容长度和主机频率出现了明显峰值。
• 子采样策略对 A 和 B 样本影响重大，但对 C 样本仅产生轻微影响，表明 C 的偏差源于其游走机制本身。
• A 和 B 样本性能差异主要源于其子采样概率（与度成反比 vs. 均匀分布），而非所访问节点的集合，因为两者的节点集合几乎完全相同。