[论文解读] "Can I Implement Your Algorithm?": A Model for Reproducible Research Software

Tom Crick, Benjamin A. Hall+1 more|Cronfa (Swansea University)|Jul 22, 2014

Scientific Computing and Data Management参考文献 19被引用 10

一句话总结

本文提出了一种基于云的、开放的可重现科学软件平台，通过自动化依赖管理、持续集成和基准测试，确保算法能够被可靠地实现和复现。通过在标准化、版本控制的环境中托管代码，并提供公开、经整理的基准测试集，该平台实现了跨工具的自动测试与公平比较，显著提升了计算科学中的可重现性。

ABSTRACT

The reproduction and replication of novel results has become a major issue for a number of scientific disciplines. In computer science and related computational disciplines such as systems biology, the issues closely revolve around the ability to implement novel algorithms and approaches. Taking an approach from the literature and applying it to a new codebase frequently requires local knowledge missing from the published manuscripts and project websites. Alongside this issue, benchmarking, and the development of fair --- and widely available --- benchmark sets present another barrier. In this paper, we outline several suggestions to address these issues, driven by specific examples from a range of scientific domains. Finally, based on these suggestions, we propose a new open platform for scientific software development which effectively isolates specific dependencies from the individual researcher and their workstation and allows faster, more powerful sharing of the results of scientific software engineering.

研究动机与目标

• 为应对计算科学领域（如系统生物学和计算机科学）日益严重的科学软件可重现性危机。
• 降低因缺少实现细节或未记录依赖关系而导致的算法重实现障碍。
• 推动公开、标准化且经整理的基准测试，以实现客观的工具比较。
• 通过激励机制和机构支持，鼓励开源共享源代码和计算成果。
• 建立可持续、社区维护的云环境基础设施，用于托管和测试科学软件。

提出的方法

• 提出一种基于云的平台，将软件依赖与研究人员本地工作站隔离。
• 集成持续集成机制，确保每次推送代码或依赖更新后自动重建并测试代码。
• 以标准格式托管公开、经社区整理的基准测试集，供所有工具使用并可贡献。
• 支持网页界面和交互式环境（例如，Try F#），使用户无需本地安装即可探索工具。
• 通过将实现注册为标准化问题求解挑战的参赛者，支持算法竞赛。
• 通过成果评估专题和期刊认可等激励措施，推动开放、可重现实践的采纳。

实验结果

研究问题

• RQ1 如何确保即使在高层次或模糊的描述下，第三方仍能实现已发表的算法？
• RQ2 哪些机制能使科学软件及其基准测试更具可重用性、版本化管理，并与本地环境解耦？
• RQ3 公开、标准化且经整理的基准测试如何提升工具评估的公平性与可比性？
• RQ4 基于云的持续集成在维护长期可重现性、防止代码腐坏方面发挥什么作用？
• RQ5 机构激励和社区基础设施如何激励研究人员共享源代码和计算成果？

主要发现

• 所提出的平台通过隔离依赖关系并在每次代码推送时运行基准测试，实现了科学软件的自动、可重现测试。
• 以标准格式公开、经社区整理的基准测试集减少了偏见，提升了工具比较的公平性。
• 基于云的持续集成确保了即使底层库或平台发生变化，软件仍能保持功能性和最新状态。
• 交互式网页界面使用户无需安装复杂依赖即可探索和测试工具。
• 该模型通过防止代码腐坏，确保实现长期可访问和可测试，从而支持长期可重现性。
• 若该平台获得会议和期刊的机构采纳，可能成为计算科学中可重现研究的行业事实标准。