[论文解读] Investigating the Change of Web Pages' Titles Over Time

Martin Klein, Michael L. Nelson|ArXiv.org|Jul 20, 2009

Web Data Mining and Analysis参考文献 23被引用 3

一句话总结

本文利用互联网档案馆的快照，研究网页标题随时间的稳定性，以评估其作为词汇签名（LS）低成本代理的可行性，用于重新发现缺失的网页。研究发现，网页标题变化极少且微小——表现为变化频率低、莱文施泰因相似度高——表明标题具有高度稳定性，因此可有效用于实时基于搜索的404页面恢复。

ABSTRACT

Inaccessible web pages are part of the browsing experience. The content of these pages however is often not completely lost but rather missing. Lexical signatures (LS) generated from the web pages' textual content have been shown to be suitable as search engine queries when trying to discover a (missing) web page. Since LSs are expensive to generate, we investigate the potential of web pages' titles as they are available at a lower cost. We present the results from studying the change of titles over time. We take titles from copies provided by the Internet Archive of randomly sampled web pages and show the frequency of change as well as the degree of change in terms of the Levenshtein score. We found very low frequencies of change and high Levenshtein scores indicating that titles, on average, change little from their original, first observed values (rooted comparison) and even less from the values of their previous observation (sliding).

研究动机与目标

• 评估网页标题随时间的稳定性，作为生成词汇签名（LS）以重新发现缺失网页的低成本替代方案。
• 确定标题是否在足够程度上保持一致，以在网页返回404错误或无关内容时作为可靠的搜索查询使用。
• 评估基于标题的查询在实时系统中用于缺失页面恢复的可行性，相比LS生成可降低计算成本。
• 探索标题在多阶段发现流程中作为早期查询的潜力，先于从缓存内容或链接邻域生成更复杂的LS之前使用。

提出的方法

• 从互联网档案馆（IA）收集随机网页样本的网页标题，捕捉其随时间的多个快照。
• 通过将每个标题与首次观测到的版本（根比较）和前一个版本（滑动比较）进行对比，计算标题变化频率。
• 使用莱文施泰因编辑距离分数衡量标题变化程度，该分数量化将一个字符串转换为另一个字符串所需的单字符编辑次数。
• 分析所有标题的莱文施泰因分数分布，以评估平均相似度和变化严重性。
• 利用莱文施泰因分数量化标题变化的频率和幅度，分数越高表示相似度越高、变化越小。
• 在两种比较模型下评估标题稳定性：根比较（与首次观测标题对比）和滑动比较（与前一个观测标题对比），以理解其随时间的演变。

实验结果

研究问题

• RQ1 根据互联网档案馆的多个快照观察，网页标题随时间的变化频率如何？
• RQ2 从莱文施泰因编辑距离的角度衡量，网页标题在词汇内容上的变化程度有多大？
• RQ3 当与初始版本（根比较）对比时，标题稳定性与与前一个版本（滑动比较）对比时有何不同？
• RQ4 鉴于标题随时间的稳定性，网页标题能否被可靠地用作搜索引擎查询，以重新发现缺失或已移动的网页？

主要发现

• 标题变化的频率非常低，大多数标题在多个快照中保持不变。
• 在根比较和滑动比较中，标题对比的莱文施泰因分数始终较高——表明词汇变化极小。
• 平均而言，标题与前一个观测版本（滑动比较）相比，变化程度显著低于与原始版本（根比较）相比，表明标题在初始变化后趋于稳定。
• 高莱文施泰因分数意味着标题具有高度稳定性，能长期保持原始含义和结构，因此适用于基于搜索的发现。
• 结果支持将标题作为词汇签名（LS）的低成本、有效替代方案，用于通过搜索引擎查询恢复缺失网页。
• 标题的稳定性表明，它们可被用于实时系统，在发生404错误时快速提供相关结果，从而在执行更昂贵的LS计算之前实现快速响应。