[论文解读] Data Life Cycle Labs, A New Concept to Support Data-Intensive Science

Jos van Wezel, Achim Streit+9 more|arXiv (Cornell University)|Dec 21, 2012

Scientific Computing and Data Management参考文献 14被引用 8

一句话总结

本文介绍了数据生命周期实验室（DLCL），这是一种协作框架，将领域科学家与数据专家整合，以优化数据密集型科学中的数据生命周期。通过在专门的实验室中共同开发标准化数据格式、元数据和访问系统，DLCL 实现了在不同科学领域（特别是在德国赫尔姆霍兹研究网络内）的高效数据管理、分析和长期保存。

ABSTRACT

In many sciences the increasing amounts of data are reaching the limit of established data handling and processing. With four large research centers of the German Helmholtz association the Large Scale Data Management and Analysis (LSDMA) project supports an initial set of scientific projects, initiatives and instruments to organize and efficiently analyze the increasing amount of data produced in modern science. LSDMA bridges the gap between data production and data analysis using a novel approach by combining specific community support and generic, cross community development. In the Data Life Cycle Labs (DLCL) experts from the data domain work closely with scientific groups of selected research domains in joint R&D where community-specific data life cycles are iteratively optimized, data and meta-data formats are defined and standardized, simple access and use is established as well as data and scientific insights are preserved in long-term and open accessible archives.

研究动机与目标

• 解决现代科学研究中管理与分析海量数据量日益增长的挑战。
• 弥合大规模科学项目中数据生成与数据分析之间的鸿沟。
• 通过领域科学家与数据专家的联合研发，建立可持续的、社区驱动的数据管理实践。
• 在科学领域间标准化数据和元数据格式，以提升互操作性和可重用性。
• 确保科学数据与洞察的长期保存和开放获取。

提出的方法

• 设立专门的数据生命周期实验室（DLCL），让领域科学家与数据专家共同驻场并协同开发解决方案。
• 通过持续反馈与优化，迭代改进社区特定的数据生命周期。
• 定义并标准化针对特定科学领域的数据和元数据格式。
• 开发简单、一致的数据与衍生洞察访问机制。
• 实施长期、开放获取的归档系统，以保存科学数据与知识。
• 结合社区特定支持与通用的跨领域开发，实现可扩展性与可重用性。

实验结果

研究问题

• RQ1 如何通过领域专家与数据专业人员的整合协作，支持数据密集型科学研究？
• RQ2 哪些机制能够实现在多样化科学社群间的数据与元数据格式标准化？
• RQ3 如何在确保长期保存的前提下，提升数据的可访问性与可用性？
• RQ4 何种组织模式能够实现在大规模科学项目中可持续且可扩展的数据管理？
• RQ5 如何在满足社区特定需求的同时，开发跨社区的数据管理解决方案？

主要发现

• DLCL 模型成功地将领域科学家与数据专家整合于联合研发中，实现了针对特定科学需求优化的数据生命周期。
• 在参与的研究社群中，开发并采纳了标准化的数据与元数据格式，显著提升了数据的互操作性。
• 实施了简化数据访问与使用机制，提升了数据在各项目间的可用性。
• 建立了长期开放获取的归档系统，使科学数据与洞察得以在单个项目生命周期之外得以保存。
• 社区特定支持与通用跨社区开发的结合，实现了可扩展且可重用的数据管理解决方案。
• 该方法在四个大型赫尔姆霍兹研究中心中得到验证，证明其在物理学、计算生物学及相关领域支持数据密集型科学的可行性与有效性。