[論文レビュー] Characterization of Search Engine Caches

Frank McCown, Michael L. Nelson|ArXiv.org|Mar 15, 2007

Web Data Mining and Analysis参考文献 12被引用数 17

ひとこと要約

本稿は、系統的なクエリとキャッシュリソースの分析を通じて、Ask、Google、MSN、Yahooの検索エンジンのキャッシュコンテンツを特徴づけている。検索エンジンのキャッシュは保存の目的で設計されていないものの、特にインターネットアーカイブ（IA）と組み合わせると、広範で重複するカバレッジを提供しており、デジタル保存戦略において貴重であることが判明した。46%のキャッシュURLがIAによってもアーカイブされており、キャッシュ制御ヘッダーに対する配慮は限定的であるが、これは保存の観点から有益である。

ABSTRACT

Search engines provide cached copies of indexed content so users will have something to "click on" if the remote resource is temporarily or permanently unavailable. Depending on their proprietary caching strategies, search engines will purge their indexes and caches of resources that exceed a threshold of unavailability. Although search engine caches are provided only as an aid to the interactive user, we are interested in building reliable preservation services from the aggregate of these limited caching services. But first, we must understand the contents of search engine caches. In this paper, we have examined the cached contents of Ask, Google, MSN and Yahoo to profile such things as overlap between index and cache, size, MIME type and "staleness" of the cached resources. We also examined the overlap of the various caches with the holdings of the Internet Archive.

研究の動機と目的

• デジタル保存への応用を想定した検索エンジンキャッシュのコンテンツ、構造、信頼性を理解すること。
• キャッシュされたウェブリソースが時間経過とともにどの程度保存され、利用可能であるかを評価すること。
• 検索エンジンキャッシュとインターネットアーカイブの所蔵コンテンツとの重複度を評価すること。
• HTTPヘッダー（例：'Cache-Control: Private'）を含むキャッシュポリシーの処理方法、特にその尊重度を調査すること。
• 検索エンジンキャッシュを包括的なデジタル保存インfra構築の一部として活用可能かどうかを検討すること。

提案手法

• 2006年2月に、4つの検索エンジン（Google、MSN、Yahoo、Ask）に、5,200件の辞書ベースのクエリを発行した。
• 各クエリに対して上位100件の結果から1件を選択し、ライブウェブページとそのキャッシュバージョンの両方の取得を試みた。
• 各URLについて、HTTPヘッダー、ウェブコンテンツ、キャッシュページ、およびインターネットアーカイブ（IA）の応答を収集した。
• HTMLタグを除去した後、10語のシングリング（shingling）を用いて、ライブページとキャッシュページの類似度を測定した。
• キャッシュページのタイムスタンプと現在日付との時間差をもって、陳腐化度（staleness）を測定した。
• MIMEタイプの分布、ファイルサイズ、キャッシュエラー率、および「キャッシュ専用」の可用性（ライブページがダウンしているがキャッシュは利用可能）を分析した。

実験結果

リサーチクエスチョン

• RQ1 検索エンジンキャッシュとインターネットアーカイブの所蔵コンテンツとの重複度はどの程度か？
• RQ2 コンテンツおよび構造の観点から、キャッシュページとそのライブ対応ページとの類似度はどの程度か？
• RQ3 検索エンジンは、'Cache-Control: Private' などのHTTPキャッシュ制御ヘッダーをどの程度尊重しているか？
• RQ4 4つの検索エンジン全体にわたる、キャッシュファイルサイズ、MIMEタイプ、陳腐化度の分布はどのようになっているか？
• RQ5 元のウェブページが利用不能となった場合、検索エンジンキャッシュがリソースへのアクセスをどの程度効果的に提供できるか？

主な発見

• サンプルされた4つの検索エンジンのURLのうち、46%しかインターネットアーカイブ（IA）でアーカイブされておらず、IAの所蔵コンテンツに顕著な内容的欠落があることが示された。
• MSNがIAと最も高い重複度（52%）を示した一方、Yahooは最低水準（41%）であった。
• Googleのキャッシュでは20%の陳腐化率を示しており、20%のキャッシュページが少なくとも20日前のものであった。中央値の陳腐化度は17日であった。
• サンプルされたHTMLリソースの2%に 'Cache-Control: Private' ヘッダーが存在したが、検索エンジンは一貫してこれを尊重しておらず、これは保存の観点から好ましい結果であった。
• 平均して、キャッシュページとライブページは72%のシングリングを共有しており、陳腐化したキャッシュでもコンテンツ類似度が極めて高いことが示された。
• Askは保存利用価値が最も低く、インデックス化されたURLのうち9%しかキャッシュされておらず、利用不能となったURLのうち3%しかキャッシュ経由でアクセス可能でなかった。これに対して、Google、MSN、Yahooでは80%以上が同様の状況でキャッシュ利用可能であった。