[论文解读] Complications for Computational Experiments from Modern Processors

Ian P. Gent, Hecher, Markus+2 more|arXiv (Cornell University)|Apr 12, 2013

Scientific Computing and Data Management参考文献 15被引用 35

一句话总结

本文提出了一项「重计算宣言」，旨在通过强制保留精确的虚拟机环境，确保计算机科学中计算实验的长期可重现性。该宣言主张，唯有通过提供完整且可模拟的虚拟机环境（无论源代码是否公开），才能可靠地在数十年后重新运行实验，目标是使所有实验实现永久可重计算。

ABSTRACT

In this paper, we revisit the approach to empirical experiments for combinatorial solvers. We provide a brief survey on tools that can help to make empirical work easier. We illustrate origins of uncertainty in modern hardware and show how strong the influence of certain aspects of modern hardware and its experimental setup can be in an actual experimental evaluation. More specifically, there can be situations where (i) two different researchers run a reasonable-looking experiment comparing the same solvers and come to different conclusions and (ii) one researcher runs the same experiment twice on the same hardware and reaches different conclusions based upon how the hardware is configured and used. We investigate these situations from a hardware perspective. Furthermore, we provide an overview on standard measures, detailed explanations on effects, potential errors, and biased suggestions for useful tools. Alongside the tools, we discuss their feasibility as experiments often run on clusters to which the experimentalist has only limited access. Our work sheds light on a number of benchmarking-related issues which could be considered to be folklore or even myths.

研究动机与目标

• 解决计算机科学领域计算实验广泛缺乏可重现性的问题。
• 将可重计算确立为标准实践，确保实验能够长期被精确复现。
• 克服仅依赖源代码共享的局限性，因为这无法保证执行环境的一致性。
• 推广使用虚拟机作为确保长期可重计算的唯一可靠方法。
• 建立可持续的基础设施——包括工具和存储库——用于托管和访问可重计算的实验。

提出的方法

• 提出计算实验必须与完整虚拟机（VM）一起托管，以精确复刻原始执行环境。
• 倡导使用虚拟化技术封装所有系统依赖项，包括操作系统、库和运行时状态。
• 强制要求代码仓库存储并保留虚拟机镜像，以确保未来能够完全一致地重新运行实验。
• 鼓励开发工具和平台（例如，recomputation.org），以简化可重计算实验的创建、上传和检索。
• 推动虚拟机及关联工具的开放获取，采用开源许可，以确保长期可用性和再利用。
• 通过保留精确的执行环境，将虚拟机定位为可重计算的黄金标准，即使对于闭源实验亦如此。

实验结果

研究问题

• RQ1 确保计算实验在原始执行数十年后仍能被精确重计算的最可靠方法是什么？
• RQ2 为何仅提供源代码不足以实现计算实验的有意义可重现性？
• RQ3 科学界如何实现并制度化长期重计算实验的实践？
• RQ4 需要哪些基础设施和工具，才能使可重计算如同软件版本控制一样简便易用？
• RQ5 以虚拟机形式长期保存计算实验的长期技术与经济可行性如何？

主要发现

• 唯一能保证计算实验可重计算的方法，是保存其原始验证时所用的精确虚拟机环境。
• 即使源代码可用，实验仍常因系统库、编译器或操作系统随时间变化而无法重建或运行。
• 虚拟机消除了环境差异，确保在不同硬件和时间周期内实现确定性、可重复的执行。
• 存储数据和虚拟机的成本正呈指数下降，使长期保存实验在经济上完全可行。
• Sumatra、CDE 和 Burrito 等工具已初现潜力，但专门针对可重计算实验的生态系统仍显不足。
• 每年重计算过去五年内所有实验，仅需新增计算资源的 10%，证明了大规模重计算的实际可行性。