[论文解读] A Framework for Evaluation of Composite Memento Temporal Coherence

Scott G. Ainsworth, Michael L. Nelson+1 more|arXiv (Cornell University)|Feb 5, 2014

Web Data Mining and Analysis参考文献 10被引用 23

一句话总结

本文提出了一套框架，利用 Memento-Datetime、Last-Modified 时间戳和内容相似性，评估根网页存档快照与其嵌入资源之间的时序一致性。该框架基于时序与内容模式，将一致性分类为四种状态——表面一致、可能一致、可能违反、表面违反，揭示了嵌入资源相对于根资源常常存在显著的时序不一致。

ABSTRACT

Most archived HTML pages embed other web resources, such as images and stylesheets. Playback of the archived web pages typically provides only the capture date (or Memento-Datetime) of the root resource and not the Memento-Datetime of the embedded resources. In the course of our research, we have discovered that the Memento-Datetime of embedded resources can be up to several years in the future or past, relative to the Memento-Datetime of the embedding root resource. We introduce a framework for assessing temporal coherence between a root resource and its embedded resource depending on Memento-Datetime, Last-Modified datetime, and entity body.

研究动机与目标

• 为解决网页存档中复合网页资源的时序不一致问题，即嵌入资源的捕获时间与根资源显著不同。
• 识别并分类网页存档中根快照与嵌入快照之间时序不一致的模式。
• 提供一个系统化的评估框架，以区分表面一致、可能一致、可能违反和表面违反四种一致性状态。
• 在无需改进抓取策略的前提下，实现对存档网页内容质量的更好评估。
• 通过分析捕获时间、修改日期和内容保真度，支持研究人员和档案员理解存档网页的可靠性。

提出的方法

• 该框架通过根资源和嵌入资源的 Memento-Datetime、嵌入资源的 Last-Modified 时间戳，以及快照之间的内容相似性，评估一致性。
• 基于时序顺序和元数据条件，定义了14种不同的一致性模式——涵盖单快照、双快照及基于内容的模式。
• 这些模式被归类为四种一致性状态：表面一致（当嵌入资源在根资源之后被捕获且未被修改）、可能一致（当 Last-Modified 早于根资源）、可能违反（当 Last-Modified 未定义且捕获时间在根资源之后）、表面违反（当 Last-Modified 晚于根资源且捕获时间也在根资源之后）。
• 通过相等或相似性阈值（例如，m_{i,j-1} = m_{i,j} 或 m_{i,j-1} ~ m_{i,j}）评估内容相似性，以细化一致性判断。
• 该框架处理了边缘情况，如缺失快照、重定向至实时网页，以及因一秒分辨率导致的 Memento-Datetime 冲突。
• 提出了一条决策规则，当多种模式同时适用时，选择最不利的一致性状态，以确保评估的保守性。

实验结果

研究问题

• RQ1 网页存档中根资源与嵌入资源之间的时序不一致的主导模式是什么？
• RQ2 Memento-Datetime、Last-Modified 时间戳和内容相似性如何共同决定存档复合网页资源的一致性？
• RQ3 存档网页中的嵌入资源在捕获时间上与根资源相比，显著提前或延后的情况在多大程度上存在？
• RQ4 仅使用 Memento-Datetime、Last-Modified 和内容比较，是否能可靠地评估一致性，而无需访问完整抓取日志？
• RQ5 元数据不一致（如缺失 Last-Modified、Memento-Datetime 冲突）如何影响一致性评估的可靠性？

主要发现

• 网页存档中根资源与嵌入资源捕获时间之间的时序跨度可超过一年，部分情况甚至超过五年或十年。
• 即使嵌入资源在根资源捕获后数秒内被捕获，仍可能因 Last-Modified 时间戳冲突而出现时序不一致。
• 大量嵌入资源在根资源之后被捕获，部分（如气象卫星图像）甚至延迟九个月以上，构成表面违反。
• 内容相似性是关键因素：当嵌入资源完全相同或相似时，即使捕获时间不同，一致性仍更可能被判定为表面一致。
• 该框架成功将一致性状态分类为四个明确等级，实现了对存档网页内容质量的细致评估。
• 该框架对边缘情况具有鲁棒性，如缺失快照、重定向至实时网页，以及因一秒分辨率导致的 Memento-Datetime 冲突。