[论文解读] First Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE): Submission and Peer-Review Process, and Results

Daniel S. Katz, Gabrielle Allen+3 more|arXiv (Cornell University)|Nov 14, 2013

Scientific Computing and Data Management参考文献 39被引用 6

一句话总结

本文提出了一种新颖的、由社区驱动的同行评审模式，应用于首届可持续科学软件研讨会（WSSSPE），58篇由作者自发表的论文通过轻量级的Google表单流程完成评审，最终有54篇被接受。该方法强调广泛参与、开放获取和协作成果，相关成果已通过arXiv归档，并计划联合发表于期刊。

ABSTRACT

This technical report discusses the submission and peer-review process used by the First Workshop on on Sustainable Software for Science: Practice and Experiences (WSSSPE) and the results of that process. It is intended to record both this alternative model as well as the papers associated with the workshop that resulted from that process.

研究动机与目标

• 建立一个可持续且包容的论坛，用于讨论科学软件开发、维护和教育方面的挑战。
• 解决科学科研中软件贡献缺乏正式认可和长期可见性的问题。
• 尝试一种替代性的同行评审与出版模式，以支持开放参与和协作知识构建。
• 记录并保存研讨会成果，以供未来参考及期刊发表。
• 通过鼓励采用知识共享许可协议及通过arXiv或figshare进行第三方归档，推广开放科学实践。

提出的方法

• 使用轻量级、基于网络的同行评审系统，通过Google表单收集评审人对论文相关性和原创性的评分。
• 根据相关性和原创性标准，从58篇投稿中接受54篇，体现较高的接受率，以鼓励广泛参与。
• 将被接受的论文按主题划分为三个专题小组（开发、产业与经济模型、教育与培训），以组织研讨会讨论。
• 通过arXiv或figshare对所有论文进行归档，分配DOI，并鼓励采用知识共享许可以支持再利用与再混合。
• 计划基于研讨会中综合讨论与共享洞见，开展合作期刊出版。
• 创建一个交互式在线平台，链接论文、评审意见与讨论线程，以促进社区持续参与。

实验结果

研究问题

• RQ1 如何为科学软件研讨会设计一种可持续且包容的同行评审流程，同时将行政负担降至最低？
• RQ2 哪些机制可确保为贡献立场报告与经验分享的软件从业者提供认可与长期可见性？
• RQ3 社区驱动的研讨会如何有效转化为正式的、可引用的学术成果？
• RQ4 开放获取存储库与DOI在提升研讨会成果的可持续性与可发现性方面发挥何种作用？
• RQ5 如何在包含多样化、非传统贡献的研讨会后，有效促进联合出版物的协作撰写？

主要发现

• 研讨会共收到58篇投稿，其中93%的作者使用arXiv或figshare进行自发表，表明开放获取实践得到广泛采纳。
• 共完成181次同行评审，平均每篇论文获得3.12次评审，显示出社区在评审过程中高度参与。
• 54篇论文被接受用于展示与讨论，接受率达93%，考虑到包容性参与的目标，该比例被认为是合理的。
• 论文被划分为三个主题小组——软件开发、产业与经济模型、教育与培训——以引导结构化讨论与小组组建。
• 组织方得出结论：需要一个专门的、由社区索引的研讨会成果服务，因为当前工具如arXiv仅提供部分解决方案。
• 已计划在研讨会后开展合作出版，由多位作者参与，并可能投稿至同行评审期刊，标志着研讨会成果迈向正式学术认可的路径。