[论文解读] The DPLA Ingestion System, version 33.1.6

Digital Public Library Of America|arXiv (Cornell University)|Aug 7, 2014

Digital and Traditional Archives Management参考文献 7被引用 6

一句话总结

本文介绍了 DPLA Ingestion System v33.1.6，这是一个在与20个合作枢纽（Hubs）运行一年后开发的可扩展元数据聚合管道。它概述了架构改进、协作式元数据修复工作流程以及由社区主导的所有权模式，以提升大规模、分布式数字图书馆生态系统中的数据质量和系统可扩展性。

ABSTRACT

The DPLA ingestion system

研究动机与目标

• 在 DPLA 初始元数据摄入系统投入生产使用一年后，解决其在可扩展性和质量方面的局限性。
• 识别在分布式、异构数据源之间进行元数据修复和增强时存在的系统性挑战。
• 在 DPLA 合作伙伴之间建立共享所有权模式，以提升长期可持续性和协作性。
• 评估在多样化文化遗产机构之间实现大规模协作式元数据聚合的可行性。
• 通过记录真实部署中的技术和组织经验，为未来基础设施设计提供参考。

提出的方法

• 部署了一个模块化、版本化的摄入管道（v33.1.6），用于处理来自美国20个直接枢纽的元数据。
• 实施了自动化数据验证和标准化工作流程，以统一多样化的元数据格式。
• 引入了涉及 DPLA 和合作机构的协作式元数据增强流程。
• 为元数据转换和摄入事件建立了版本控制和审计追踪。
• 采用社区治理模式，分配责任，提升合作网络中的数据质量。
• 利用现有元数据标准（例如，Dublin Core）并应用映射，以确保互操作性。

实验结果

研究问题

• RQ1 在 DPLA 大规模元数据摄入的第一年中，出现了哪些架构和操作挑战？
• RQ2 在分布式合作伙伴之间，协作式元数据修复和增强工作流程的有效性如何？
• RQ3 共享所有权在维持可扩展、社区驱动的元数据聚合系统中扮演了何种角色？
• RQ4 在去中心化的数字图书馆基础设施中，如何提升元数据质量和系统可扩展性？
• RQ5 从 DPLA 的经验中可以总结出哪些教训，以指导未来的大规模元数据聚合系统建设？

主要发现

• 初始的轻量级摄入系统在长期可扩展性和元数据质量需求方面证明不足。
• 协作式元数据修复显著提升了数据质量，但需要持续的合作伙伴参与和明确的治理机制。
• 摄入流程的分布式所有权增强了系统的可持续性，并减轻了中心化 DPLA 基础设施的负担。
• 版本化系统更新（例如，v33.1.6）实现了迭代改进，并提升了元数据转换过程的可追溯性。
• 元数据标准化和映射对于异构数据源之间的互操作性至关重要。
• 社区驱动的流程虽然有效，但需要投入协调、工具和共享文档。