[论文解读] An introduction to Docker for reproducible research, with examples from the R environment

Carl Boettiger|arXiv (Cornell University)|Oct 2, 2014

Scientific Computing and Data Management参考文献 12被引用 369

一句话总结

本文提出Docker作为解决科学研究所面临的计算可复现性挑战的方案，特别是在R环境中。通过利用操作系统的虚拟化、容器的可移植性以及版本化的镜像，Docker使研究人员能够封装完整的计算环境，确保在不同平台上的一致执行，显著减少可复现研究工作流中与依赖关系相关的故障。

ABSTRACT

As computational work becomes more and more integral to many aspects of scientific research, computational reproducibility has become an issue of increasing importance to computer systems researchers and domain scientists alike. Though computational reproducibility seems more straight forward than replicating physical experiments, the complex and rapidly changing nature of computer environments makes being able to reproduce and extend such work a serious challenge. In this paper, I explore common reasons that code developed for one research project cannot be successfully executed or extended by subsequent researchers. I review current approaches to these issues, including virtual machines and workflow systems, and their limitations. I then examine how the popular emerging technology Docker combines several areas from systems research - such as operating system virtualization, cross-platform portability, modular re-usable elements, versioning, and a `DevOps' philosophy, to address these challenges. I illustrate this with several examples of Docker use with a focus on the R statistical environment.

研究动机与目标

• 应对由于复杂且不断演变的软件环境而日益加剧的科学研究所面临的计算可复现性挑战。
• 突出现有方法（如虚拟机和工作流系统）在支持领域科学家可复现性方面的局限性。
• 展示Docker的轻量级容器化、可移植性和版本控制如何克服代码重用和复现的技术障碍。
• 通过R统计计算环境中的实际应用，说明Docker如何支持可复现、可共享且可扩展的研究。
• 推动Docker的采用，作为降低代码共享技术门槛的工具，从而支持开放和可复现科学的文化转变。

提出的方法

• 利用Docker的操作系统级虚拟化（通过Linux容器）封装完整的计算环境，包括系统库和R依赖项。
• 实现模块化、可重用的容器镜像，将R、R包和分析代码整合为单一可部署单元。
• 利用Docker的版本控制系统追踪容器镜像的变更，并支持回滚到特定的、可复现的状态。
• 将Docker与现有可复现研究工具（如动态文档，例如R Markdown）和依赖管理器（如R的packrat）集成。
• 将完整的容器镜像归档为tarball，以保留计算环境的按位完全相同的快照，这些环境用于已发表的结果。
• 通过Docker容器在不同操作系统之间跨平台部署基于R的分析。

实验结果

研究问题

• RQ1 Docker在科学计算中，特别是在基于R的研究中，如何缓解‘依赖地狱’问题？
• RQ2 Docker在不同计算环境中在多大程度上能提高基于R的数据分析的可移植性和可复现性？
• RQ3 在科学领域中用于可复现研究时，使用Docker的技术和实际限制是什么？
• RQ4 与传统的虚拟机或工作流系统相比，Docker的方法在支持可复现性方面有何不同？
• RQ5 Docker能否降低代码重用的障碍，从而影响科学界在共享方面的文化规范？

主要发现

• Docker通过将所有必需的系统和软件依赖项打包到一个单一、可移植的容器镜像中，有效解决了依赖地狱问题。
• 容器化的R环境确保了在不同平台上的执行一致性，显著减少了可复现研究中与环境相关的故障。
• Docker的版本控制系统允许回滚到容器镜像的先前状态，但无法回滚单个层——因此需要显式归档tarball以实现按位可复现。
• 结合R工具（如R Markdown和packrat）使用Docker，可实现分析的完整可复现性，包括动态文档的生成。
• 尽管具有优势，Docker对Linux内核的依赖限制了其在非Linux系统上的使用，此时需要完整的虚拟化（如通过boot2docker），这会影响性能和可用性。
• 本文结论认为，Docker在提升科学可复现性方面具有巨大潜力，但其在研究社区中的广泛采用仍不确定，取决于文化和技术的采纳程度。