[论文解读] Full Computational Reproducibility in Biological Science: Methods, Software and a Case Study in Protein Biology

Les Hatton, Gregory W. Warr|arXiv (Cornell University)|Aug 24, 2016

Scientific Computing and Data Management参考文献 26被引用 6

一句话总结

本文提出了一套实用的框架，通过使用开源工具实现在生物学研究中的完全计算可复现性，案例研究基于瑞士蛋白数据库（SwissProt）。该框架通过自动化脚本、版本控制的数据和回归测试，实现了从头到尾的可复现性，确保本地生成的结果与已发表结果完全一致，涵盖图表、表格和统计分析。

ABSTRACT

Independent computational reproducibility of scientific results is rapidly becoming of pivotal importance in scientific progress as computation itself plays a more and more central role in so many branches of science. Historically, reproducibility has followed the familiar Popperian [38] model whereby theory cannot be verified by scientific testing, it can only be falsified. Ultimately, this implies that if an experiment cannot be reproduced independently to some satisfactory level of precision, its value is essentially unquantifiable; put brutally, it is impossible to determine its scientific value. The burgeoning presence of software in most scientific work adds a new and particularly opaque layer of complexity [29]. In spite of much recent interest in many scientific areas, emphasis remains more on procedures, strictures and discussion [12, 14, 16, 29, 30, 37, 41], reflecting the inexperience of most scientific journals when it comes to software, rather than the details of how computational reproducibility is actually achieved, for which there appear to be relatively few guiding examples [6, 10, 17]. After considering basic principles, here we show how full computational reproducibility can be achieved in practice at every stage using a case study of a multi-gigabyte protein study on the open SwissProt protein database, from data download all the way to individual figure by figure reproduction as an exemplar for general scientific computation.

研究动机与目标

• 解决由于软件不透明和工作流程未记录而导致的生物研究中计算不可复现性日益加剧的问题。
• 证明仅通过开源工具和系统化的软件工程实践，完全计算可复现性在实践中是可实现的。
• 为研究人员提供一个具体且可重用的模板，仅通过一个源文件即可生成文稿、图表、表格和统计分析。
• 倡导获得资金和机构支持，使完全可复现性成为计算生物学的标准。
• 通过提供实用且分步的科学计算方法，弥合科学计算与传统生物学研究之间的差距。

提出的方法

• 使用版本控制的开源软件（如 R、Perl、Linux），以确保在不同系统间的透明性和可移植性。
• 通过专用脚本自动生成功能图表和表格，每个组件（如图 1A、1B、1C）均独立生成。
• 创建一个可复现性包，包含所有数据、脚本和基准结果，以供验证。
• 使用 `diff` 命令实现回归测试流程，将本地生成的数据文件与已发表的基准版本进行比较。
• 使用人类可读的格式（如 .dat、.eps），以支持结果的可视化与程序化验证。
• 整合统计分析脚本（如 R 脚本），精确复现已发表的所有表格和图表数据。

实验结果

研究问题

• RQ1 仅使用开源工具和标准软件工程实践，是否可以在生物学研究中实现完全计算可复现性？
• RQ2 研究人员如何确保文稿中每个图表、表格和统计分析均可从单一源文件独立复现？
• RQ3 可采用哪些机制来验证本地生成的结果与已发表结果具有高度精确的一致性？
• RQ4 与开放透明的系统相比，专有系统和格式在多大程度上阻碍了可复现性？
• RQ5 在计算生物学中采用完全可复现性的实际障碍是什么，以及如何克服这些障碍？

主要发现

• 在使用开源工具和自动化脚本对瑞士蛋白数据库（SwissProt）进行多吉字节规模的蛋白质研究中，成功实现了完全计算可复现性。
• 每个图表和表格均由专用脚本独立生成，确保了模块化和可验证性。
• 通过 `diff` 命令进行的回归测试可靠地识别出本地生成数据文件与基准数据文件之间的差异，并将差异记录在专用输出文件中。
• 该方法可使用单一文稿文件作为输入，精确复现所有图表（包括 R 中的 3D 图表）和所有统计分析。
• 该方法在标准台式机系统上可行，但在 Windows 等专有平台上的实现更具挑战性，原因在于数据和软件格式缺乏透明性。
• 本研究证明，完全可复现性不仅可行，而且实用，前提是研究人员投入系统化的软件实践并获得机构支持。