[论文解读] Formats over Time: Exploring UK Web History

Andrew Jackson|arXiv (Cornell University)|Oct 5, 2012

Web Data Mining and Analysis参考文献 1被引用 6

一句话总结

本研究利用 DROID-B 和 Apache Tika 对 1996 年至 2010 年间超过 25 亿个英国网络资源进行分析，识别格式、版本、软件和硬件信息，发现由于网络效应的稳定作用，软件过时现象极为罕见。主要发现为：大多数格式可维持十余年，新格式缓慢出现，旧版本逐渐消退，挑战了数字格式本质上脆弱的传统观点。

ABSTRACT

Is software obsolescence a significant risk? To explore this issue, we analysed a corpus of over 2.5 billion resources corresponding to the UK Web domain, as crawled between 1996 and 2010. Using the DROID and Apache Tika identification tools, we examined each resource and captured the results as extended MIME types, embedding version, software and hardware identifiers alongside the format information. The combined results form a detailed temporal format profile of the corpus, which we have made available as open data. We present the results of our initial analysis of this dataset. We look at image, HTML and PDF resources in some detail, showing how the usage of different formats, versions and software implementations has changed over time. Furthermore, we show that software obsolescence is rare on the web and uncover evidence indicating that network effects act to stabilise formats against obsolescence.

研究动机与目标

• 调查软件过时是否对长期数字保存构成重大风险。
• 理解英国网络领域中格式使用、版本和软件实现随时间的演变规律。
• 评估网络效应在稳定数字格式、降低过时风险方面的作用。
• 利用自动化识别工具，创建并验证一个大规模、开放格式的网络资源档案。
• 评估格式识别工具（DROID-B 和 Apache Tika）在大规模语料库中的可靠性与一致性。

提出的方法

• 从 1996 年至 2010 年收集了 35TB 的 25 亿个英国网络资源语料，存储于 50 个节点的 HDFS 集群上。
• 使用 DROID-B（DROID 的修改版本）识别格式及其版本、软件和硬件元数据。
• 辅以 Apache Tika 以扩大格式覆盖范围，并进行更深入的比特流解析。
• 直接对比特流进行格式识别，而非依赖元数据或 URL，以确保基于内容的准确性。
• 结合两种工具的结果以检测不一致、提升签名质量，并优化格式识别。
• 分析图像、HTML 和 PDF 资源在格式流行度、版本使用和软件/硬件标识符方面的随时间变化趋势。

实验结果

研究问题

• RQ1 网络效应在多大程度上稳定了数字格式并降低了过时风险？
• RQ2 不同格式、版本和软件实现的使用模式如何随时间演变？
• RQ3 新格式是否以可持续的速度出现？旧格式是迅速消亡还是逐渐衰退？
• RQ4 在大规模、多样化的语料库中，DROID-B 与 Apache Tika 的格式识别结果一致性如何？
• RQ5 多种工具的联合输出能否提供更可靠、更细致的数字格式演化档案？

主要发现

• 共有 47 种格式持续存在 15 年或以上，表明其具有长期稳定性，而非快速过时。
• 1996 年至 2010 年间，平均每年约有六种新格式出现，而仅有约两种格式每年过时。
• JPEG 在图像格式中始终保持主导地位，而 GIF、TIFF 和 XBM 的使用率呈下降趋势，其中 XBM 使用率急剧下滑。
• HTML 版本随时间逐步增长，至 2010 年所有六个主要版本均处于活跃状态，且新版本在数年内占据主导地位后缓慢衰退。
• PDF 版本从 1996 年的三个（1.0–1.2）增至 2010 年的十一个，其中 1.2–1.6 版本持续主导，显示旧版本缓慢衰退。
• 识别出超过 2,100 种 PDF 的不同软件实现，以及超过 1,900 种 JPEG 的不同软件实现，表明广泛使用的格式已实现高度标准化和成熟化。