[论文解读] A Survey on Reproducibility in Parallel Computing

Sascha Hunold|arXiv (Cornell University)|Nov 13, 2015

Advanced Data Storage Technologies参考文献 2被引用 8

一句话总结

本综述通过分析31位Euro-Par 2015与会者的反馈，调查了并行计算与高性能计算中的可复现性挑战。研究揭示了可复现性问题的广泛认知，但对最佳实践（如代码和数据共享）的采纳率较低，且在开源许可证及可复现性工具（如文学编程和工作流系统）方面的知识存在显著空白。

ABSTRACT

We summarize the results of a survey on reproducibility in parallel computing, which was conducted during the Euro-Par conference in August 2015. The survey form was handed out to all participants of the conference and the workshops. The questionnaire, which specifically targeted the parallel computing community, contained questions in four different categories: general questions on reproducibility, the current state of reproducibility, the reproducibility of the participants' own papers, and questions about the participants' familiarity with tools, software, or open-source software licenses used for reproducible research.

研究动机与目标

• 评估并行计算与高性能计算研究中可复现性的当前状态。
• 识别共享研究成果（如源代码、原始数据和分析流程）的障碍与动因。
• 评估研究人员对支持可复现研究的工具和软件许可证的熟悉程度。
• 理解HPC社区中复现已发表实验所面临的感知障碍。
• 为并行计算领域可复现计算科学的未来举措和最佳实践提供建议。

提出的方法

• 使用LimeSurvey在Euro-Par 2015会议上开展了一项24道题的匿名在线调查。
• 将问题分为四类：一般可复现性兴趣、当前可复现性状态、个人共享实践以及工具/软件熟悉度。
• 分发了300份带有唯一令牌的调查传单，以确保每位参与者仅提交一次，共收集到31份完整回复（响应率为13%）。
• 分析调查回复，以识别代码/数据共享、工具使用和机构政策认知方面的趋势。
• 采用定性和定量分析方法，解读关于可复现性挑战和工具采纳的回应。
• 在现有可复现性举措及相关计算科学调查的背景下报告研究发现。

实验结果

研究问题

• RQ1 并行计算领域的研究人员如何看待其领域中可复现性的当前状态？
• RQ2 有多少比例的研究人员会将其源代码、原始实验数据和数据分析流程与论文一同发布？
• RQ3 研究人员不共享其研究成果（代码、数据、分析流程）的主要原因是什么？
• RQ4 在高性能计算中，复现已发表实验的主要障碍是什么？
• RQ5 研究人员对文学编程系统、工作流管理器和开源软件许可证等工具的熟悉程度如何？

主要发现

• 超过90%的调查参与者表示对可复现研究感兴趣，表明该问题已获得广泛认知。
• 仅23%的研究人员表示在其论文中发布了源代码，表明对最佳实践的遵守程度较低。
• 超过一半（55%）的研究人员使用GitHub等公共版本控制系统共享代码，表明版本控制已部分采纳。
• 仅33%的受访者定期使用R或SPSS等统计软件包进行数据分析，表明标准化工具的使用有限。
• 令人震惊的是，71%的研究人员从未使用过knitr或org-mode等文学编程工具，84%从未使用过VisTrails或Kepler等科学工作流工具。
• 仅19%的研究人员了解其机构的开源许可证政策，26%表示其机构不存在此类政策，凸显了知识上的重大空白。