[論文レビュー] The State of Play of Reproducibility in Statistics: An Empirical Analysis

Xin Xiong, Ivor Cribben|arXiv (Cornell University)|Jan 1, 2022

Scientific Computing and Data Management被引用数 4

ひとこと要約

本研究では、2010年から2021年にかけて発表された93篇のfMRIを用いた統計論文の再現性を実証的に評価している。完全に再現可能な論文はわずか14篇（15.1％）にとどまり、実行可能なコードと実際のデータが両方入手可能で、結果も一致する場合に限る。これは、統計学が自らのオープンネスを謳っているにもかかわらず、再現性の分野に深刻なギャップが存在することを示している。

ABSTRACT

Reproducibility, the ability to reproduce the results of published papers or studies using their computer code and data, is a cornerstone of reliable scientific methodology. Studies where results cannot be reproduced by the scientific community should be treated with caution. Over the past decade, the importance of reproducible research has been frequently stressed in a wide range of scientific journals such as <i>Nature</i> and <i>Science</i> and international magazines such as <i>The Economist</i>. However, multiple studies have demonstrated that scientific results are often not reproducible across research areas such as psychology and medicine. Statistics, the science concerned with developing and studying methods for collecting, analyzing, interpreting and presenting empirical data, prides itself on its openness when it comes to sharing both computer code and data. In this article, we examine reproducibility in the field of statistics by attempting to reproduce the results in 93 published papers in prominent journals using functional magnetic resonance imaging (fMRI) data during the 2010–2021 period. Overall, from both the computer code and the data perspective, among all the 93 examined papers, we could only reproduce the results in 14 (15.1%) papers, that is, the papers provide both executable computer code (or software) with the real fMRI data, and our results matched the results in the paper. Finally, we conclude with some author-specific and journal-specific recommendations to improve the research reproducibility in statistics.

研究の動機と目的

• 統計的研究、特にfMRI研究における再現性の現状を評価すること。
• 出版済みの統計論文におけるコンピュータコードと実際のデータの可用性および利用可能性を調査すること。
• 欠落したファイル、ソフトウェア依存関係、ドキュメントのないコードといった、再現性の障壁となるシステム的要因を特定すること。
• 統計学の分野が、コードとデータの共有に関して自らのオープンネスを果たしているかどうかを評価すること。
• 著者と学術誌に対して、統計的研究における再現性基準を向上させるための実行可能な提言を提供すること。

提案手法

• 2010年から2021年にかけて発表された7つの主要な学術誌から、fMRIを用いた統計論文93篇を選定した。
• 提供されたコンピュータコードと実際のfMRIデータを用いて結果の再現を試み、再現性を「分析を再実行し、発表済みの結果と一致させられる能力」と定義した。
• コードの完全性、正しさ、依存関係の問題（ファイル欠落、破損したパッケージ、満たされていないソフトウェア要件など）を評価した。
• データの可用性を評価し、生データ、前処理済みデータ、またはシミュレートされたデータが提供されているか、そしてそれが利用可能であるかを確認した。
• コード実行の可否と結果の一致をもとに、再現性の結果を「完全に再現可能」「部分的に再現可能」「再現不可」と分類した。
• 再現性に関する学術誌レベルおよび著者レベルのパターンを分析し、ポリシー提言の根拠とした。

実験結果

リサーチクエスチョン

• RQ1 2010年から2021年にかけて発表された統計的fMRI研究のうち、提供されたコードとデータを用いて完全に再現可能な割合はどの程度か？
• RQ2 統計的研究における再現性を阻害する主な技術的・手順的障壁は何か？
• RQ3 学術誌のポリシーや著者の実践は、コードとデータの可用性および利用可能性にどのように影響しているか？
• RQ4 不足している依存関係、ドキュメントのないコード、不完全なデータセットが、統計的論文における再現性にどの程度悪影響を及えるか？
• RQ5 統計的研究における再現性を顕著に向上させるために、どのような制度的・政策的変更が必要か？

主な発見

• fMRIを用いた統計論文93篇のうち、完全に再現可能な論文は14篇（15.1％）にとどまり、実行可能なコードと実際のデータが両方入手可能で、結果も一致した。
• コードを提供した論文のうち47件（50.5％）は、ファイル欠落、満たされていないソフトウェア依存関係、実行時の誤った結果といった問題を抱えていた。
• 多くの論文が非公開または入手不能なデータに依存しており、28件の論文ではシミュレート済みまたは部分的に前処理済みのデータのみが提供された。
• 一般的な技術的障害には、欠落したR関数（例：'dlda'が見つからない）、欠落したC++ヘッダーファイル（例：'bayes_gfl.h'）、満たされていないシステム要件（例：'nvcc: Command not found'）があった。
• 統計学がオープンネスを謳っているにもかかわらず、84.9％の論文が基本的な再現性基準を満たしておらず、ポリシーと実務の間に深刻なギャップがあることが示された。
• 学術誌レベルのポリシーは一貫性がなく、コードとデータ共有の標準的要件が存在しなかったため、制度的・強制的な対策の導入が求められた。