[论文解读] How to Read a Research Compendium

Daniel Nüst, Carl Boettiger+1 more|arXiv (Cornell University)|Jun 11, 2018

Scientific Computing and Data Management参考文献 8被引用 6

一句话总结

本文将Keshav的三步阅读法扩展至研究汇编（research compendia）——即集代码、数据与文稿于一体的集成包——通过引入结构化、迭代式的阅读步骤，优先关注科学洞察而非技术复杂性。该方法使研究人员能够高效地浏览可复现的研究成果，同时提升透明度与协作性。

ABSTRACT

Researchers spend a great deal of time reading research papers. Keshav (2012) provides a three-pass method to researchers to improve their reading skills. This article extends Keshav's method for reading a research compendium. Research compendia are an increasingly used form of publication, which packages not only the research paper's text and figures, but also all data and software for better reproducibility. We introduce the existing conventions for research compendia and suggest how to utilise their shared properties in a structured reading process. Unlike the original, this article is not build upon a long history but intends to provide guidance at the outset of an emerging practice.

研究动机与目标

• 为应对日益增长的、针对整合了代码、数据与文稿的科研汇编的结构化阅读策略需求，这些汇编超越了传统静态论文的范畴。
• 通过强调以科学为先、迭代式的方法，帮助读者避免被技术细节淹没。
• 通过预判读者需求并提升可用性，支持作者改进汇编设计。
• 通过标准化的阅读实践，促进可复现性与开放科学，使研究人员能更深入参与计算研究。

提出的方法

• 将Keshav的三步法——概览、详细阅读、综合——适配至研究汇编，通过整合对代码、数据与计算工作流的检查。
• 引入结构化阅读流程，优先理解科学目标，再深入技术实现。
• 鼓励迭代式探索：读者从文稿与图表入手，随后检查代码与数据，最后测试或复现结果。
• 推荐横向探索策略，如追踪关键软件、数据集或工具的引用，以识别基础性与新兴的研究汇编。
• 建议利用社区标准与存储库（例如，ReScience、JOSS、rOpenSci）定位并评估高质量的研究汇编。
• 提出通过GitHub维护一份动态文档，以支持社区反馈并持续改进阅读实践。

实验结果

研究问题

• RQ1 研究人员如何能高效地阅读和理解包含代码、数据与文稿的单一包形式的研究汇编？
• RQ2 何种结构化阅读方法能使研究人员在参与计算研究时，优先关注科学洞察而非技术复杂性？
• RQ3 作者如何设计研究汇编以更好地满足读者需求并提升可复现性？
• RQ4 读者可采用何种策略在多个汇编中识别关键软件、数据或方法，以加速文献调研？
• RQ5 三步法的原则如何被调整以支持计算研究中的可复现性与透明度？

主要发现

• 经调整的三步法使读者能够通过系统化方式探索研究汇编：首先评估科学目标，再检查计算组件，最后测试或复现结果。
• 遵循迭代式、以科学为先的方法的读者，能避免陷入技术细节，从而更深入理解研究过程。
• 横向探索——追踪软件、数据或工具的引用——是识别基础性与新兴研究汇编的有效策略。
• 包含良好文档化代码、数据与依赖关系的研究汇编，显著提升了计算研究的可复现性与透明度。
• 由社区驱动的平台如ReScience、JOSS与rOpenSci，为发现与评估高质量研究汇编提供了可靠的入口。
• 通过GitHub维护的动态文档模型，使阅读实践能借助社区反馈与协作持续优化。