[論文レビュー] Case Studies and Challenges in Reproducibility in the Computational Sciences

Sylwester Arabas, Michael Bareford+15 more|arXiv (Cornell University)|Aug 9, 2014

Scientific Computing and Data Management参考文献 35被引用数 8

ひとこと要約

本論文は、4つの事例研究を通じて計算科学分野における再現可能性の課題を調査している：人間被験における倫理的ばらつき、並列処理と逐次処理の再現可能性、非コンピュータサイエンス分野における再現可能性、および1件の公表済み研究の複数研究者間の再現可能性。著者らは、GitHubと仮想マシン（VM）を用いた手法により、論文自体をオープンで実行可能で再現可能にする試みで部分的な成功を収めたが、強力な方法論的取り組みにもかかわらず、依然として技術的・法的・倫理的障壁が存在することを示している。

ABSTRACT

This paper investigates the reproducibility of computational science research and identifies key challenges facing the community today. It is the result of the First Summer School on Experimental Methodology in Computational Science Research (https://blogs.cs.st-andrews.ac.uk/emcsr2014/). First, we consider how to reproduce experiments that involve human subjects, and in particular how to deal with different ethics requirements at different institutions. Second, we look at whether parallel and distributed computational experiments are more or less reproducible than serial ones. Third, we consider reproducible computational experiments from fields outside computer science. Our final case study looks at whether reproducibility for one researcher is the same as for another, by having an author attempt to have others reproduce their own, reproducible, paper. This paper is open, executable and reproducible: the whole process of writing this paper is captured in the source control repository hosting both the source of the paper, supplementary codes and data; we are providing setup for several experiments on which we were working; finally, we try to describe what we have achieved during the week of the school in a way that others may reproduce (and hopefully improve) our experiments.

研究の動機と目的

• 計算科学分野の多様な分野における再現可能性の度合いとその課題を調査すること。
• 再現可能性を阻害するシステム的障壁（特に倫理的・法的・技術的要因）を同定すること。
• 1人の研究者が再現可能とみなす論文が、他の研究者に対しても信頼性を持って再現可能かどうか、特に人間-コンピュータインタラクション研究において検証すること。
• バージョン管理されたソースコード、コード、データ、および仮想マシンを用いて、論文自体を完全に再現可能にする方法の妥当性を示し、評価すること。
• 夏期セミナーにおける実世界の経験を反映することで、再現可能研究のベストプラクティスを促進すること。

提案手法

• 計算科学における実験的手法の夏期セミナーの一環として、1週間の間に4つの事例研究を実施した。
• すべての変更履歴を追跡可能なバージョン管理リポジトリ（GitHub）を用いて、論文、補足コード、データをホスティングした。
• 再現可能な計算環境を実現するため、仮想マシン（VM）を導入し、重要な実験には2つのVMを配布した。
• 自動化が不可能な場合を除き、他の研究者が結果を再計算できるように、実験を実行・文書化した。
• Sweaveや動的ドキュメント生成などの実行可能論文技術を適用したが、一部の表は手動入力された。
• 著者主導の再現を含め、論文自体の研究プロセスを再現する「メタ再現性」を試みた。

実験結果

リサーチクエスチョン

• RQ1 異なる機関における倫理承認プロトコルの違いは、人間被験を含む計算実験の再現可能性にどのように影響するか？
• RQ2 並列処理や分散処理の実験は、複雑性の増加により、逐次処理と比較して本質的に再現性が低いとされるか？
• RQ3 環境科学や医学などの非コンピュータサイエンス分野からの計算実験は、どの程度再現可能か。また、どのような障壁が生じるか？
• RQ4 著者が再現可能とみなす論文が、専門的知識を持たない他の研究者によっても成功裏に再現可能か？
• RQ5 論文自体の開発プロセスを含め、論文の完全な再現性を達成するための実務的・システム的課題は何か？

主な発見

• 倫理承認プロトコルは機関ごとに顕著に異なり、人間被験の再現可能性に大きな障壁をもたらす。これは、方法論がよく文書化されていても同様である。
• 並列および分散処理の実験は、非決定性、リソース依存性、複雑なセットアップのため、追加の再現性の課題を引き起こすが、本質的に再現性が低いとは限らない。
• 非コンピュータサイエンス分野の実験を再計算することは短時間で可能だったが、法的制限により1つのVMの配布が不可能だった。これは重要な障壁を示している。
• 論文を完全に実行可能で再現可能にする努力にもかかわらず、一部の計算は手動で実行が必要であり、すべてのデータが動的再分析されていない。
• 公表済みHCI研究の再現を試みた結果、明示的でない仮定や欠落した文脈、共有されていない環境設定の欠如により、よく文書化された研究ですら再現に失敗する可能性があることが判明した。
• 論文自体の再現性は部分的に成功している：GitHubとVMを介して資料は入手可能であるが、法的・技術的制約により、すべてのコンponentsの完全な配布と自動化が不可能である。