[论文解读] Everyone is a Curator: Human-Assisted Preservation for ORE Aggregations

Frank McCown, Michael L. Nelson+1 more|ArXiv.org|Jan 28, 2009

Web Data Mining and Analysis参考文献 12被引用 6

一句话总结

本文提出了 ReMember，一种基于人类协助的保存系统，利用网络社区和网络基础设施（网络档案馆、搜索引擎、个人归档工具）来维护 ORE 资源图（ReMs）的完整性。通过将编目任务分配给报告失效链接、定位更新资源并验证变更的用户，ReMember 确保 ReMs 在面临链接腐坏和资源不稳定性的情况下依然保持准确和持久。

ABSTRACT

The Open Archives Initiative (OAI) has recently created the Object Reuse and Exchange (ORE) project that defines Resource Maps (ReMs) for describing aggregations of web resources. These aggregations are susceptible to many of the same preservation challenges that face other web resources. In this paper, we investigate how the aggregations of web resources can be preserved outside of the typical repository environment and instead rely on the thousands of interactive users in the web community and the Web Infrastructure (the collection of web archives, search engines, and personal archiving services) to facilitate preservation. Inspired by Web 2.0 services such as digg, deli.cio.us, and Yahoo! Buzz, we have developed a lightweight system called ReMember that attempts to harness the collective abilities of the web community for preservation purposes instead of solely placing the burden of curatorial responsibilities on a small number of experts.

研究动机与目标

• 解决 ORE 资源图（ReMs）的保存挑战，因其分布且动态的特性，易受链接腐坏和资源消失的影响。
• 通过将保存任务民主化，分散至网络社区，减少对集中化专家编目的依赖。
• 利用现有网络基础设施（如互联网档案馆、Google 缓存和 WebCite）检测并恢复 ReMs 中缺失或更改的资源。
• 使用户能够通过识别失效链接、寻找更新的 URL 和验证内容变更，主动参与 ReM 编目。
• 开发一种可扩展、轻量级的系统，通过基于维基的界面支持 ReM 的版本控制、变更追踪和协作编辑。

提出的方法

• 将 ReMember 实现为轻量级 Web 应用程序，通过定期检查所有聚合资源（ARs）的可访问性来监控 ReMs。
• 使用网络爬虫访问 ARs，并通过词汇签名和视觉快照，与 WebCite 和互联网档案馆中的存档版本进行比较。
• 当 AR 返回 404 错误或显示内容变更时，ReMember 将其标记为需用户关注，并显示其元数据、缩略图和时间戳。
• 通过使用 AR 的标题和元数据查询搜索引擎（Google、Yahoo、Live Search）来集成网络基础设施，以定位实时或存档版本。
• 允许用户通过选择新 URL、使用 WebCite 归档新版本，并生成新的词汇签名和截图来更新 ReMs。
• 将 ReM 版本历史存储在维基中，支持错误更改的回滚，并支持协作编辑与透明性。

实验结果

研究问题

• RQ1 当自动化系统因链接腐坏或内容变更而失效时，基于社区的编目是否能有效保存 ORE 资源图？
• RQ2 如何利用现有网络基础设施（网络档案馆、搜索引擎、个人归档工具）来检测并恢复 ReMs 中缺失或更改的资源？
• RQ3 用户参与识别失效链接和定位更新 URL 在多大程度上能提升 ReMs 的持久性和准确性？
• RQ4 如何以可扩展、安全的方式实现版本控制和协作编辑，以支持 ReMs 的社区编目？
• RQ5 视觉和词汇签名在检测聚合资源变更并触发用户干预方面发挥什么作用？

主要发现

• ReMember 通过将实时访问与 WebCite 和互联网档案馆的存档版本进行比较，成功检测到 ReMs 中缺失或更改的聚合资源（ARs）。
• 该系统通过使用 AR 元数据预填充搜索查询，使用户能够定位并更新失效链接，显著减少了寻找替代资源所需的努力。
• 视觉缩略图和词汇签名使 ReMember 能够检测 ARs 的内容变更，从而提示用户验证或归档更新版本。
• 维基式版本控制系统的集成使得 ReM 的修改过程透明、可审计且可逆，支持协作编目。
• 使用 Simile Timeline 的时间线可视化帮助用户识别频繁变更或消失的 ARs，突出显示需要持续关注的资源。
• 该方法通过将编目任务分布至网络社区，避免了仅依赖专家编目的可扩展性和成本限制，证明了大规模 ReM 保存的可行性。