[论文解读] Openness and Reproducibility: Insights from a Model-Centric Approach

Bert Baumgaertner, Berna Devezer+2 more|arXiv (Cornell University)|Nov 12, 2018

Meta-analysis and systematic reviews参考文献 30被引用 5

一句话总结

本文提出一种以模型为中心的框架，阐明开放性、可重现性及相关科学概念（如可靠性与可审计性）之间的关系。基于概率论与统计推理，该文主张可重现性关键取决于共享模型特定细节（如假设、结构与参数），而不仅限于数据或方法；并指出透明度本身并不能保证可重现性，从而挑战了可重现性危机讨论中的常见假设。

ABSTRACT

This paper investigates the conceptual relationship between openness and reproducibility using a model-centric approach, heavily informed by probability theory and statistics. We first clarify the concepts of reliability, auditability, replicability, and reproducibility--each of which denotes a potential scientific objective. Then we advance a conceptual analysis to delineate the relationship between open scientific practices and these objectives. Using the notion of an idealized experiment, we identify which components of an experiment need to be reported and which need to be repeated to achieve the relevant objective. The model-centric framework we propose aims to contribute precision and clarity to the discussions surrounding the so-called reproducibility crisis.

研究动机与目标

• 阐明科学研究所涉及的可靠性、可审计性、可复现性与可重现性之间的概念差异。
• 挑战仅凭开放性即可解决可重现性危机的假设，表明仅公开数据或方法不足以实现可重现性，除非同时实现模型层面的透明化。
• 基于概率论，构建一个正式的、以模型为中心的框架，以更好地理解科学结果如何实现可重现性。
• 识别为实现特定科学目标（如可重现性或可审计性）而必须公开的实验组件。
• 主张以假设为中心的方法在建模开放科学实践方面存在不足，而模型比较是科学进步的核心。

提出的方法

• 作者使用理想化的实验模型，形式化科学结果具备可靠性、可审计性、可复现性或可重现性的条件。
• 应用概率论与统计学原理，分析科学目标与实验组件之间的逻辑依赖关系。
• 以模型为中心的方法将科学模型（而非假设）作为分析的核心单元，强调模型假设、结构与参数的重要性。
• 该框架区分了实现可审计性所必需公开的组件（如方法、数据）与实现可重现性所必需的组件（如模型细节、假设）。
• 分析中融入了杜黑姆-奎因整体论，表明由于背景假设的相互关联，假设无法独立被检验。
• 作者通过历史与哲学引用（如牛顿、歌德）来阐明可重现性与模型比较所面临的认识论挑战。

实验结果

研究问题

• RQ1 开放性、可重现性与相关科学目标（如可靠性与可审计性）之间的精确概念关系是什么？
• RQ2 为何在共享所有材料的情况下，数据或方法的透明度仍不能保证可重现性结果？
• RQ3 为实现可重现性，实验的哪些组件必须公开？哪些组件足以实现可审计性？
• RQ4 以模型为中心的方法相较于以假设为中心的模型，在理解科学可重现性方面有何改进？
• RQ5 在缺乏数据共享的情况下，若具备充分的模型透明度，可重现性在多大程度上仍可实现？

主要发现

• 可重现性不能仅通过数据共享来保证；模型特定的细节（如假设、结构与参数）对于可重现结果至关重要。
• 一个实验可以完全可审计但不可重现，反之亦然，表明这些概念在逻辑上并不等价。
• 即使在一个无方法论缺陷的理想科学体系中，由于模型设定错误与抽样误差，可重现性仍可能无法实现。
• 可重现性率是真实性和系统参数的函数，而非单纯由透明度或严谨性决定，这意味着不可重现性并不总是表明存在不当行为。
• 预注册与开放科学实践常忽视模型细节，这削弱了其在提升可重现性方面的有效性。
• 以模型为中心的框架通过明确呈现背景假设并支持模型比较，更准确地捕捉了科学实践，而模型比较正是开放协作科学的核心。