[論文レビュー] A Model-Centric Analysis of Openness, Replication, and Reproducibility

Bert Baumgaertner, Berna Devezer+2 more|arXiv (Cornell University)|Nov 12, 2018

Scientific Computing and Data Management被引用数 6

ひとこと要約

この論文は、確率的推論を用いて実験的要素のオープンネスを分析することで、モデル中心の再現可能性理論を提唱する。p-hacking や出版バイアスといった一般的な誤った実践が存在しない状況でも、再現可能性は保証されないことが示され、個々の不正行為を排除すれば再現可能性が保証されるという仮定に疑問を呈する。

ABSTRACT

The literature on the reproducibility crisis presents several putative causes for the proliferation of irreproducible results, including HARKing, p-hacking and publication bias. Without a theory of reproducibility, however, it is difficult to determine whether these putative causes can explain most irreproducible results. Drawing from an historically informed conception of science that is open and collaborative, we identify the components of an idealized experiment and analyze these components as a precursor to develop such a theory. Openness, we suggest, has long been intuitively proposed as a solution to irreproducibility. However, this intuition has not been validated in a theoretical framework. Our concern is that the under-theorizing of these concepts can lead to flawed inferences about the (in)validity of experimental results or integrity of individual scientists. We use probabilistic arguments and examine how openness of experimental components relates to reproducibility of results. We show that there are some impediments to obtaining reproducible results that precede many of the causes often cited in literature on the reproducibility crisis. For example, even if erroneous practices such as HARKing, p-hacking, and publication bias were absent at the individual and system level, reproducibility may still not be guaranteed.

研究の動機と目的

• 科学的研究における再現可能性の理論的枠組みの欠如に対処すること。
• HARKing や p-hacking といったよく知られた誤った実践を排除しても、なぜ再現不能な結果が続くのかを調査すること。
• 確率的視点から、実験的要素のオープンネスが再現性に与える影響を検討すること。
• 個々の方法論的誤りの発生以前に存在する再現性の基礎的障壁を特定すること。
• オープンネスが再現性を高めるという長年の直感的信念が理論的にどのように裏付けられるかを検証すること。

提案手法

• 科学の歴史的・包括的かつ協働的な概念に基づき、理想化された実験の構成要素を定義すること。
• 確率的議論を用いて、実験的要素のオープンネスと結果の再現性の関係をモデル化すること。
• 設計、データ、解析の各要素のオープンネスが、再現可能な結果の確率に与える影響を分析すること。
• 個々のレベルでの誤り（例：p-hacking）と、再現性に対する体系的・構造的障壁の影響を比較すること。
• オープンネスと再現性の理論的関連を形式化し、オープンネスそのものが再現性の問題を解決できるかどうかを評価すること。

実験結果

リサーチクエスチョン

• RQ1 p-hacking や出版バイアスといった一般的な誤った研究実践の前段階で、再現性に影響を与える構造的障壁は何か？
• RQ2 実験的要素のオープンネスが、結果の再現性に確率的にどのように影響を与えるか？
• RQ3 オープンネスが再現性を保証するという直感的信念が、理論的にどの程度正当化できるか？
• RQ4 個々の不正行為が存在しない状況でも、実験設計や報告に根本的な欠陥があると、再現性が損なわれるのか？
• RQ5 モデル中心の再現性アプローチは、既存の再現性危機の説明とどのように異なり、どのように改善されるか？

主な発見

• HARKing や p-hacking、出版バイアスが存在しない状況でも、実験設計における構造的問題のため、再現性が達成されない可能性がある。
• 理論的分析により、成分レベルの透明性の適切なモデリングがなければ、オープンネスそのものだけでは再現性を保証できないことが明らかになった。
• 個々のレベルでの誤りが生じる以前から再現性の基礎的障壁が存在することから、体系的改革の必要性が示された。
• 確率的モデリングにより、実験的要素のオープンネスが再現の不確実性を低減するが、完全に排除はしないことが示された。
• オープンネスと再現性の理論的未発展さが、科学的整合性や結果の妥当性に関する誤った推論を生じさせている。
• 再現不能な結果に対する一時的な説明から脱却するためには、再現性の形式的理論の構築が不可欠である。