[论文解读] Carbon Dating The Web: Estimating the Age of Web Resources

Hany M. SalahEldeen, Michael L. Nelson|arXiv (Cornell University)|Apr 18, 2013

Web Data Mining and Analysis参考文献 9被引用 7

一句话总结

本文提出了 Carbon Date，一个网络应用，通过聚合来自多个来源（包括 Bitly、Topsy、Google、网页存档和 HTTP 头）的时间戳，估算网络资源的创建日期，在包含 1,200 个 URI 的黄金标准数据集上，成功率达到 75.9%，最近似估计的准确率为 32.78%。

ABSTRACT

In the course of web research it is often necessary to estimate the creation datetime for web resources (in the general case, this value can only be estimated). While it is feasible to manually establish likely datetime values for small numbers of resources, this becomes infeasible if the collection is large. We present "carbon date", a simple web application that estimates the creation date for a URI by polling a number of sources of evidence and returning a machine-readable structure with their respective values. To establish a likely datetime, we poll bitly for the first time someone shortened the URI, topsy for the first time someone tweeted the URI, a Memento aggregator for the first time it appeared in a public web archive, Google's time of last crawl, and the Last-Modified HTTP response header of the resource itself. We also examine the backlinks of the URI as reported by Google and apply the same techniques for the resources that link to the URI. We evaluated our tool on a gold-standard data set of 1200 URIs in which the creation date was manually verified. We were able to estimate a creation date for 75.90% of the resources, with 32.78% having the correct value. Given the different nature of the URIs, the union of the various methods produces the best results. While the Google last crawl date and topsy account for nearly 66% of the closest answers, eliminating the web archives or Last-Modified from the results produces the largest overall negative impact on the results. The carbon date application is available for download or use via a webAPI.

研究动机与目标

• 解决网络资源缺乏可靠创建日期元数据的问题，尤其是在服务器或内容已不可用时。
• 开发一种工具，利用社交媒体分享、反向链接和存档抓取等间接数字痕迹，估算网络资源的最早出现时间。
• 评估多种时间戳来源组合在准确估算资源年龄方面的有效性。
• 为研究人员提供一个公开可访问的网络 API，使其无需依赖服务器端元数据，即可估算任意 URI 的创建日期。

提出的方法

• 向 Bitly 查询目标 URI 的首个短链接时间戳。
• 向 Topsy 查询提及该 URI 的首个推文时间戳。
• 查询 Memento 聚合器，获取来自公共网页存档的该 URI 的最早存档版本。
• 从 Google 搜索索引中检索该 URI 的最后一次抓取日期。
• 从资源服务器响应中提取 Last-Modified HTTP 头。
• 使用 Google 分析该 URI 的反向链接，并对链接资源应用相同的时间戳收集过程。

实验结果

研究问题

• RQ1 哪种时间戳来源组合能最准确地估算网络资源的创建日期？
• RQ2 社交媒体、搜索引擎和网页存档等不同来源如何贡献于创建日期估算的准确性？
• RQ3 排除单个来源会对整体估算准确性产生何种影响？
• RQ4 反向链接和社交媒体活动在多大程度上可作为资源初始发布时间的代理指标？
• RQ5 Last-Modified HTTP 头在多大程度上可作为创建时间的可靠指示器？

主要发现

• Carbon Date 工具在黄金标准数据集中的 1,200 个 URI 中成功估算出 75.90% 的创建日期。
• 最近似估计与真实创建日期一致的案例占 32.78%，其中 Google 的最后一次抓取日期和 Topsy 的首个推文日期共同贡献了近 66% 的最近似估计。
• 排除网页存档或 Last-Modified 头对准确性影响最大，显著提高了错误率。
• 使用反向链接仅贡献了 3 次最近似估计，表明该方法价值有限。
• 多项式拟合分析显示，禁用存档、Topsy 或 Last-Modified 头会导致 AUC（曲线下面积）显著增加，表明估算误差上升。
• 所有方法的并集产生了最佳结果，表明结合多种来源可显著提升估算的鲁棒性。