[論文レビュー] Reconstructing Websites for the Lazy Webmaster

Frank McCown, Joan A. Smith+2 more|arXiv (Cornell University)|Dec 16, 2005

Web Data Mining and Analysis参考文献 31被引用数 4

ひとこと要約

本稿では、インターネットアーカイブや検索エンジンのキャッシュ（Google、MSN、Yahoo）などの公開ウェブリポジトリからウェブサイトを自動で再構築するツール「Warrick」を提案する。既存のクロールデータとキャッシュ済みコンテンツを活用することで、Warrickは24の実際のウェブサイトを再構築に成功し、HTMLファイルの平均89%、画像の53%、PDFの85%を回復させた。特にGoogleが最も一貫性のあるキャッシュコンテンツを提供していた。

ABSTRACT

Backup or preservation of websites is often not considered until after a catastrophic event has occurred. In the face of complete website loss, "lazy" webmasters or concerned third parties may be able to recover some of their website from the Internet Archive. Other pages may also be salvaged from commercial search engine caches. We introduce the concept of "lazy preservation"- digital preservation performed as a result of the normal operations of the Web infrastructure (search engines and caches). We present Warrick, a tool to automate the process of website reconstruction from the Internet Archive, Google, MSN and Yahoo. Using Warrick, we have reconstructed 24 websites of varying sizes and composition to demonstrate the feasibility and limitations of website reconstruction from the public Web infrastructure. To measure Warrick's window of opportunity, we have profiled the time required for new Web resources to enter and leave search engine caches.

研究の動機と目的

• 放置やインfra構成の障害によって失われたウェブサイトのための体系的で再構築可能なメカニズムの欠如に対処すること。
• 特に検索エンジンのキャッシュとインターネットアーカイブを含む、公開可能なウェブリポジトリが失われたウェブサイトの再構築に実用的であるかどうかを調査すること。
• 既存のウェブインfraを活用して再構築プロセスを自動化するツールの開発と評価を行うこと。
• 主要な検索エンジンとインターネットアーカイブにおけるキャッシュ済みウェブリソースの時間的可用性を測定すること。
• 事前のバックアップがなく、外部公開リソースからのみウェブサイトを再構築する可能性と限界を評価すること。

提案手法

• インターネットアーカイブ（IA）、Google、MSN、Yahooの4つの公開ウェブリポジトリを再帰的にクロールするコマンドラインツール「Warrick」を設計・実装する。
• 24の実世界のウェブサイト（サイズやコンテンツタイプが異なる）をWarrickで再構築し、再構築成功率を評価する。
• HTML、PDF、画像ファイルを含む合成ウェブコレクションを、.comおよび.eduドメインに作成し、検索エンジン間でのキャッシュ遅延と持続時間の測定を行う。
• 作成後にページを体系的に削除し、検索エンジンキャッシュ内にどの程度の期間残るかを監視することで、利用可能な期間（ウィンドウ）を特定する。
• タイムスタンプを備えたリソースを優先し、取得不能または変更済みのバージョン（例：サムネイルやHTML変換版）を回避するためのヒューリスティクスを適用する。
• 全リポジトリからの寄与を統合し、各ウェブサイトおよび各ファイルタイプごとの総合的な再構築成功率を算出する。

実験結果

リサーチクエスチョン

• RQ1 特に検索エンジンのキャッシュとインターネットアーカイブを含む、公開ウェブリポジトリは、失われたウェブサイトの再構築にどの程度有効であるか？
• RQ2 作成後、ウェブリソースがGoogle、MSN、Yahooのキャッシュに平均してどの程度の期間保持されるか？
• RQ3 どのウェブリポジトリがウェブサイト再構築に最も貢献しているか？また、ファイルタイプごとの回復率はどのように比較されるか？
• RQ4 ウェブサイトのサイズ、PageRank、コンテンツタイプ（例：HTML、画像、PDF）が再構築成功率に与える影響はどの程度か？
• RQ5 外部ビューからのみウェブサイトを再構築する際の限界は何か？特に、サーバーサイドロジックなどのどのコンponentsが回復できないか？

主な発見

• 24の再構築済みウェブサイト全体で平均89%のHTMLファイルが正常に回復され、これは最も回復率が高いリソースタイプであった。
• 画像の回復率は53%にとどまり、HTMLに比べて著しく低く、これはキャッシュの不一致およびMSNによる画像キャッシュの不可能性に起因する。
• PDFファイルの回復率は85%であった一方、Microsoft Office形式は71%の成功率を示した。
• Googleが再構築に最も貢献した（平均44%）、次にMSN（30%）、IA（19%）、Yahoo（7%）の順であった。
• HTMLリソースの平均回復時間（TUR）は8〜61日で、多くのリソースが最大90日間利用可能であった。
• 再構築成功率はウェブサイトのサイズやPageRankと相関がなかったため、小さなサイトや人気のないサイトであっても、効果的に再構築可能であることが示された。