[論文レビュー] A Framework for Evaluation of Composite Memento Temporal Coherence

Scott G. Ainsworth, Michael L. Nelson+1 more|arXiv (Cornell University)|Feb 5, 2014

Web Data Mining and Analysis参考文献 10被引用数 23

ひとこと要約

本稿では、Memento-Datetime、Last-Modifiedタイムスタンプ、およびコンテンツ類似度を用いて、ルートWebアーカイブMementoとその埋め込みリソース間の時間的整合性を評価するフレームワークを提案する。時間的パターンとコンテンツパターンに基づき、一見整合的、おそらく整合的、おそらく違反的、一見違反的の4つの整合性状態に分類し、埋め込みリソースがルートリソースに対して顕著な時間的不整合を示すことが明らかになった。

ABSTRACT

Most archived HTML pages embed other web resources, such as images and stylesheets. Playback of the archived web pages typically provides only the capture date (or Memento-Datetime) of the root resource and not the Memento-Datetime of the embedded resources. In the course of our research, we have discovered that the Memento-Datetime of embedded resources can be up to several years in the future or past, relative to the Memento-Datetime of the embedding root resource. We introduce a framework for assessing temporal coherence between a root resource and its embedded resource depending on Memento-Datetime, Last-Modified datetime, and entity body.

研究の動機と目的

• アーカイブされた複合Webリソースにおいて、埋め込みリソースがルートリソースとは著しく異なる時刻にキャプチャされているという時間的整合性の欠如問題に対処すること。
• WebアーカイブにおけるルートMementoと埋め込みMemento間の時間的不整合のパターンを特定および分類すること。
• 一見整合的、おそらく整合的、おそらく違反的、一見違反的という4つの整合性状態を区別できる体系的な評価フレームワークを提供すること。
• 改善されたクローリング戦略を必要とせずに、アーカイブ済みWebコンテンツの品質をより良く評価することを可能にすること。
• キャプチャ時刻、変更日時、コンテンツの整合性を分析することで、研究者やアーカイブ担当者がアーカイブ済みWebページの信頼性を理解するのを支援すること。

提案手法

• フレームワークは、ルートおよび埋め込みリソースのMemento-Datetime、埋め込みリソースのLast-Modifiedタイムスタンプ、Memento間のコンテンツ類似度の3つの主要な属性を用いて整合性を評価する。
• 時間的順序とメタデータ条件に基づき、1つのMementoから2つのMementoおよびコンテンツベースのパターンまでを含む14の異なる整合性パターンを定義する。
• パターンは4つの整合性状態に分類される：一見整合的（埋め込みリソースがルート以降にキャプチャされ、変更されていない場合）、おそらく整合的（Last-Modifiedが以前に設定されている場合）、おそらく違反的（Last-Modifiedが未定義でキャプチャ時刻がルート以降の場合）、一見違反的（Last-Modifiedがルート以降に設定されており、キャプチャ時刻もルート以降の場合）。
• コンテンツ類似度は、等価性または類似度の閾値（例：m_{i,j-1} = m_{i,j} または m_{i,j-1} ~ m_{i,j}）を用いて評価され、整合性判断の精緻化に寄与する。
• 欠落したMemento、ライブWebへのリダイレクト、1秒解像度によるMemento-Datetimeの衝突といったエッジケースに対しても対応する。
• 複数のパターンが適用される場合、最も懸念される整合性状態を選択するための意思決定ルールを提案し、保守的な評価を保証する。

実験結果

リサーチクエスチョン

• RQ1 Webアーカイブにおけるルートリソースと埋め込みリソース間の時間的不整合の支配的パターンは何か？
• RQ2 Memento-Datetime、Last-Modifiedタイムスタンプ、およびコンテンツ類似度が、アーカイブ済み複合Webリソースの整合性をどのように決定づけるか？
• RQ3 アーカイブ済みWebページの埋め込みリソースは、ルートリソースのキャプチャ時刻と比較して、著しく前後するキャプチャ時刻を持つことがどれほど顕著に見られるか？
• RQ4 完全なクロールログにアクセスできない状況でも、Memento-Datetime、Last-Modified、およびコンテンツ比較のみを用いて整合性を信頼性高く評価できるか？
• RQ5 メタデータの不整合（例：Last-Modifiedの欠落、Memento-Datetimeの衝突）は、整合性評価の信頼性にどのように影響を与えるか？

主な発見

• Webアーカイブにおけるルートリソースと埋め込みリソースのキャプチャ間の時間的スパンは1年以上に達する場合もあり、中には5年、あるいは10年以上に達するケースも存在する。
• ルートリソースとほぼ同時にキャプチャされた場合でさえ、矛盾するLast-Modifiedタイムスタンプがあると、時間的整合性が欠けている可能性がある。
• 多くの埋め込みリソースがルートリソースのキャプチャ後にキャプチャされており、一部（例：天気衛星画像）では9か月以上も遅れてキャプチャされており、一見違反的と判断される。
• コンテンツ類似度は重要な要因である：埋め込みリソースが同一または類似している場合、キャプチャ時刻が異なっていても、一見整合的と判断される可能性が高くなる。
• フレームワークは4段階の明確な整合性状態に分類でき、アーカイブ済みWebコンテンツの品質を洗練された方法で評価可能である。
• 欠落したMemento、ライブWebへのリダイレクト、1秒解像度によるMemento-Datetimeの衝突といったエッジケースに対しても、フレームワークは頑健である。