[論文レビュー] Openness and Reproducibility: Insights from a Model-Centric Approach

Bert Baumgaertner, Berna Devezer+2 more|arXiv (Cornell University)|Nov 12, 2018

Meta-analysis and systematic reviews参考文献 30被引用数 5

ひとこと要約

本稿は、信頼性や監査可能性といった科学的概念と関連する開かれた性質や再現可能性の関係を明確化するモデル中心の枠組みを提示する。確率論と統計的推論を用いて、再現可能性は、データや手法の共有に加えて、仮定、構造、パラメータといったモデル固有の詳細の共有に強く依存することを主張し、透明性だけでは再現可能性を保証しないこと、したがって再現性危機の議論において一般的に想定されている仮定に疑問を呈する。

ABSTRACT

This paper investigates the conceptual relationship between openness and reproducibility using a model-centric approach, heavily informed by probability theory and statistics. We first clarify the concepts of reliability, auditability, replicability, and reproducibility--each of which denotes a potential scientific objective. Then we advance a conceptual analysis to delineate the relationship between open scientific practices and these objectives. Using the notion of an idealized experiment, we identify which components of an experiment need to be reported and which need to be repeated to achieve the relevant objective. The model-centric framework we propose aims to contribute precision and clarity to the discussions surrounding the so-called reproducibility crisis.

研究の動機と目的

• 科学的研究における信頼性、監査可能性、再現可能性、再現可能性の概念的違いを明確化すること。
• 開かれた性質が再現性危機を解決すると仮定する見解に反論し、データや手法の透明性だけでは、モデルレベルの透明性がなければ不十分であることを示すこと。
• 確率論に基づく形式的でモデル中心の枠組みを構築し、科学的結果がどのように再現可能になるかをよりよく理解すること。
• 再現可能性や監査可能性といった特定の科学的目的を達成するために、実験のどの要素を共有する必要があるかを特定すること。
• 仮説中心のアプローチがオープンサイエンスの実践をモデル化するのに不適切であり、モデル比較が科学的進歩の中心であるという主張を行うこと。

提案手法

• 著者たちは、科学的結果が信頼性があり、監査可能で、再現可能または再現可能である条件を形式化するため、理想化された実験モデルを用いる。
• 確率論と統計の原則を適用し、科学的目標と実験的要素の論理的依存関係を分析する。
• モデル中心のアプローチでは、仮説ではなく科学的モデルを分析の中心とする。モデルの仮定、構造、パラメータに焦点を当てる。
• この枠組みは、監査可能性に必要な共有要素（例：手法、データ）と再現可能性に不可欠な要素（例：モデルの詳細、仮定）を区別する。
• 科学的仮説が背景仮定の相互接続性のため、孤立してテストできないというDuhem-Quineの全体論を分析に組み込む。
• 歴史的・哲学的参照（例：ニュートン、ゲーテ）を用いて、再現可能性とモデル比較の認識論的課題を文脈づける。

実験結果

リサーチクエスチョン

• RQ1 開かれた性質、再現可能性、および信頼性や監査可能性といった関連する科学的目標との間の明確な概念的関係は何か？
• RQ2 データや手法の透明性があるにもかかわらず、なぜ再現可能な結果にならないことがあるのか？
• RQ3 再現可能性を達成するために、実験のどの要素を公開する必要があるのか？また、監査可能性を達成するために十分なのはどの要素か？
• RQ4 モデル中心のアプローチは、仮説中心のモデルに比べて、科学的再現可能性を理解する上でどのように改善されるか？
• RQ5 適切なモデルの透明性がある場合、データ共有が欠如している状況でも再現可能性はどの程度達成可能か？

主な発見

• 再現可能性は、データの共有だけでは保証されない。再現可能な結果を得るには、仮定、構造、パラメータといったモデル固有の詳細の共有が不可欠である。
• 実験は完全に監査可能であるが再現可能ではないし、逆に再現可能だが監査可能でないこともあり得る。これは、これらの概念が論理的に同等ではないことを示している。
• 方法論的欠陥のない理想的な科学的システムにおいても、モデルの誤指定や標本誤差のため、再現不能が持続する可能性がある。
• 再現性の割合は、真実とシステムのパラメータの関数であり、透明性や厳密さの単なる結果ではない。これは、再現不能性が常に不正行為の証拠ではないことを示唆する。
• 事前登録やオープンサイエンスの実践は、しばしばモデルの詳細を無視しており、これが再現性の向上効果を損なっている。
• 背景仮定を明示し、モデル比較を支援する点で、モデル中心の枠組みは科学的実践をよりよく捉えており、オープンかつ共同的な科学の中心に位置する。