[论文解读] Computational Reproducibility in Computational Social Science

David Schoch, Chung‐hong Chan+2 more|arXiv (Cornell University)|Jul 4, 2023

Scientific Computing and Data Management被引用 5

一句话总结

本文提出了一套分层的计算可复现性体系，用于计算社会科学（CSS），根据执行者和计算环境，将可复现性分为第一级（私有）、第二级（可信第三方）和第三级（无限制）三个层次。该体系倡导使用声明式环境描述（如Dockerfile）、开源软件，并主动共享数据、代码和环境，以实现完全可复现性（3°CR），解决了计算资源不可及和数据访问受限等障碍。

ABSTRACT

Replication crises have shaken the scientific landscape during the last decade. As potential solutions, open science practices were heavily discussed and have been implemented with varying success in different disciplines. We argue that computational-x disciplines such as computational social science, are also susceptible for the symptoms of the crises, but in terms of reproducibility. We expand the binary definition of reproducibility into a tier system which allows increasing levels of reproducibility based on external verfiability to counteract the practice of open-washing. We provide solutions for barriers in Computational Social Science that hinder researchers from obtaining the highest level of reproducibility, including the use of alternate data sources and considering reproducibility proactively.

研究动机与目标

• 解决计算社会科学（CSS）中计算可复现性缺乏清晰、可操作标准的问题，尽管已有开放科学运动，但该领域仍易受可复现性危机影响。
• 通过引入两个缺失维度——执行者（谁执行复现检查）和计算环境（复现检查发生的场所）——澄清现有可复现性定义中的模糊性。
• 构建一个可复现性的分层体系（1°CR 至 3°CR），以实现逐步提升的可验证、外部可复现性，超越二元定义。
• 识别计算社会科学中可复现性的关键障碍，并提出解决方案，包括数据访问受限、环境文档缺失以及对专有或不可访问计算资源的依赖。
• 通过倡导奖励可复现性的制度性激励措施（如职业认可和期刊层面的可复现性检查），推动机构和系统性变革。

提出的方法

• 基于执行者（原始作者、可信第三方或公众）和材料访问的限制程度，提出计算可复现性的三级体系（1°CR、2°CR、3°CR）。
• 引入“无限制可复现材料”的概念，其中包含对计算环境的完整、声明式描述（如Dockerfile），使任何人能够重建完全相同的执行环境。
• 倡导使用容器化技术（如Docker）封装操作系统、软件版本、库和依赖项，确保在不同平台上的一致执行。
• 建议使用标准Linux发行版（如Ubuntu），因其具备长期软件存档和与容器化的良好兼容性，从而增强可复现性。
• 建议研究人员使用研究合集（research compendia）并遵循良好的编码实践，即使在数据无法共享的情况下，也能提升可复现性。
• 提出制度性激励措施——如将3°CR工作作为职业认可的依据，以及要求期刊对稿件执行可复现性检查——以将可复现性制度化为研究的核心标准。

Figure 1: A declarative description of a computational environment (Dockerfile) generated by rang: It pins down the operating system (Debian 5.0 "Lenny"), the system component (libxml2-dev), the R version (2.15.0), and all software libraries (slam, SparseM, Rcpp, tm, maxent) with their versions

实验结果

研究问题

• RQ1 如何更精确地定义计算社会科学中的计算可复现性，以解决当前二元定义中的模糊性？
• RQ2 现有可复现性定义中缺失的关键维度是什么？这些维度如何影响计算结果的可验证性？
• RQ3 哪些障碍阻碍计算社会科学研究人员实现最高水平的可复现性（3°CR）？这些障碍如何被克服？
• RQ4 如何描述和共享计算环境，以确保在不同系统上的一致且可验证的执行？
• RQ5 为使计算可复现性成为计算社会科学研究中的标准且受激励的实践，需要哪些制度和系统性变革？

主要发现

• 本文建立了一个计算可复现性的三级体系（1°CR、2°CR、3°CR），明确了执行者和计算环境作为关键维度，超越了二元定义的局限。
• 最高水平的可复现性（3°CR）在无限制材料（包含数据、代码和声明式环境描述，如Dockerfile）公开可用且任何人可执行时实现。
• 声明式环境描述（如Dockerfile）对于精确固定所有软件组件（操作系统、库、R版本等）至关重要，从而确保执行的一致性。
• 推荐使用标准Linux发行版（如Ubuntu），因其具备长期软件存档和与容器化的良好兼容性，有助于提升可复现性。
• 即使数据无法共享，研究人员仍可通过使用可信第三方数据存储库或向执行可复现性检查的期刊投稿，实现2°CR。
• 本文结论指出，实现3°CR需要系统性变革，包括制度性激励措施，如将3°CR作为学术成就的评价标准，并在出版流程中强制执行可复现性检查。

Figure 2: Recommended practices to achieve the maximum degree of computational reproducibility in different scenarios