[论文解读] A Proposal for the Measurement and Documentation of Research Software Sustainability in Interactive Metadata Repositories

Stephan Druskat|arXiv (Cornell University)|Aug 16, 2016

Big Data Technologies and Applications参考文献 7被引用 6

一句话总结

本文提出了一种交互式元数据仓库（IMR），通过聚合和分析软件元数据来计算可量化的可持续性指标，从而衡量并记录研究软件的可持续性。通过整合硬性、半硬性和软性指标，IMR实现了可复现的、交互式的软件寿命、可维护性和可适应性评估，支持软件管理计划并提升可持续研究软件的发现能力。

ABSTRACT

This paper proposes an interactive repository type for research software metadata which measures and documents software sustainability by accumulating metadata, and computing sustainability metrics over them. Such a repository would help to overcome technical barriers to software sustainability by furthering the discovery and identification of sustainable software, thereby also facilitating documentation of research software within the framework of software management plans.

研究动机与目标

• 解决在发现和识别可持续研究软件方面面临的技术障碍。
• 提出一种交互式元数据仓库（IMR），通过聚合的元数据来衡量并记录软件可持续性。
• 通过提供一种结构化、可复现的方法来评估可持续性，支持软件管理计划（SMPs）的实施。
• 通过以长期性和演化性为核心的基于目标的定义，实现‘软件可持续性’的可操作化。
• 通过支持用户交互，实现元数据验证、游戏化机制以及提升指标可靠性的功能。

提出的方法

• 收集与可持续性相关的软件元数据，包括源代码、许可证、文档和社区活动等。
• 定义三个可持续性目标：存在性、有效运行和进一步开发与适应的潜力。
• 计算三类指标：'硬性'（基于客观、可量化的数据，如开源状态）、'半硬性'（客观但量化程度较低，例如编程语言选择）和'软性'（主观的，例如通过用户评分评估的用户界面直观性）。
• 利用GitHub和Open Hub等平台的API来采集元数据并验证输入。
• 以结构化格式（如JSON或XML）存储元数据，以确保机器可读性和可复现性。
• 通过投票、评分和贡献机制等用户交互功能，优化软性指标并检测数据异常。

实验结果

研究问题

• RQ1 如何以一种支持研究软件发现与评估的方式，对软件可持续性进行可操作的定义与衡量？
• RQ2 哪些类型的元数据最有助于评估研究软件的长期可持续性？
• RQ3 如何将硬性、半硬性和软性指标相结合，以生成可靠、可复现且交互式的可持续性评估？
• RQ4 交互式元数据仓库在支持软件管理计划（SMPs）实施方面有哪些作用？
• RQ5 用户贡献和游戏化机制在实践中如何提升可持续性指标的可信度和采纳率？

主要发现

• 所提出的IMR通过基于三个核心可持续性目标（存在性、有效运行和可适应性）的结构化、多层级指标体系，实现了对软件可持续性的测量。
• 硬性指标——基于客观、可量化的元数据（如开源许可证）——确保了可复现性并具有抗操纵性。
• 半硬性指标——源自客观可测量但依赖上下文的特征（如使用特定编程语言）——使可持续性评估更具细致性。
• 软性指标——基于用户评估和定性输入——增强了可持续性评分的可解释性，并支持社区驱动的验证。
• 交互功能（如投票、评分和游戏化）提高了用户参与度，并激励软件创建者提交并维护准确的元数据。
• 从GitHub、Open Hub和Zenodo等现有平台集成元数据，实现了可扩展且自动化的数据采集。