[论文解读] Characterization of Search Engine Caches

Frank McCown, Michael L. Nelson|ArXiv.org|Mar 15, 2007

Web Data Mining and Analysis参考文献 12被引用 17

一句话总结

本文通过系统性查询和对缓存资源的分析，对 Ask、Google、MSN 和 Yahoo 搜索引擎的缓存内容进行了表征。研究发现，尽管搜索引擎缓存并非为长期保存而设计，但其内容覆盖范围广泛且相互重叠——尤其是与互联网档案馆（IA）结合时——使其在数字保存策略中具有重要价值，其中 46% 的缓存 URL 同样被 IA 存档，且对缓存控制头（如 'Cache-Control: Private'）的遵守程度较低。

ABSTRACT

Search engines provide cached copies of indexed content so users will have something to "click on" if the remote resource is temporarily or permanently unavailable. Depending on their proprietary caching strategies, search engines will purge their indexes and caches of resources that exceed a threshold of unavailability. Although search engine caches are provided only as an aid to the interactive user, we are interested in building reliable preservation services from the aggregate of these limited caching services. But first, we must understand the contents of search engine caches. In this paper, we have examined the cached contents of Ask, Google, MSN and Yahoo to profile such things as overlap between index and cache, size, MIME type and "staleness" of the cached resources. We also examined the overlap of the various caches with the holdings of the Internet Archive.

研究动机与目标

• 了解搜索引擎缓存在数字保存中的内容、结构和可靠性。
• 评估缓存的网页资源在长时间内被保存和可访问的程度。
• 评估搜索引擎缓存与互联网档案馆（IA）藏品之间的重叠程度。
• 研究搜索引擎如何处理缓存策略，包括对 HTTP 头部（如 'Cache-Control: Private'）的遵守情况。
• 确定将搜索引擎缓存作为更广泛数字保存基础设施一部分的可行性。

提出的方法

• 2006 年 2 月，向四个搜索引擎（Google、MSN、Yahoo、Ask）分别发出 5,200 个基于字典的查询。
• 每个查询选取前 100 个结果中的一个，并尝试获取其原始网页和缓存版本。
• 收集每个 URL 的 HTTP 头部、网页内容、缓存页面以及互联网档案馆（IA）的响应。
• 在移除 HTML 标签后，使用 10 个词的 shingling 方法测量原始网页与缓存网页之间的相似度。
• 将过时程度（staleness）定义为缓存页面的时间戳与当前日期之间的时间差。
• 分析 MIME 类型分布、文件大小、缓存错误率以及仅缓存可用性（即原始网页不可用但缓存版本仍可访问）的情况。

实验结果

研究问题

• RQ1 搜索引擎缓存与互联网档案馆藏品之间的重叠程度如何？
• RQ2 从内容和结构上看，缓存网页与原始网页的相似程度如何？
• RQ3 搜索引擎在多大程度上遵守了如 'Cache-Control: Private' 这类 HTTP 缓存控制头部？
• RQ4 在四个搜索引擎中，缓存文件大小、MIME 类型和过时程度的分布情况如何？
• RQ5 当原始网页不可用时，搜索引擎缓存提供资源访问的有效性如何？

主要发现

• 在所采样的四个搜索引擎的 URL 中，仅有 46% 被互联网档案馆存档，表明 IA 藏品存在显著的内容缺口。
• MSN 与 IA 的重叠度最高，达到 52%，而 Yahoo 最低，为 41%。
• Google 缓存的过时率（staleness rate）为 20%，即 20% 的缓存页面至少已有 20 天未更新，中位过时时间为 17 天。
• 尽管在所采样的 HTML 资源中有 2% 包含 'Cache-Control: Private' 头部，但搜索引擎并未一致遵守，这对保存工作而言是利好。
• 平均而言，缓存网页与原始网页共享 72% 的 shingles，表明即使在过时缓存中，内容相似度依然很高。
• Ask 的保存实用性最弱，其索引 URL 中仅有 9% 被缓存，且仅 3% 的不可用 URL 可通过缓存访问，而 Google、MSN 和 Yahoo 的对应比例均超过 80%。