[論文レビュー] Reproducible Research and GIScience: An Evaluation Using GIScience Conference Papers

Lorena A. Barba, Nüst, Daniel+3 more|arXiv (Cornell University)|Feb 9, 2018

Scientific Computing and Data Management参考文献 47被引用数 145

ひとこと要約

本稿は、科学的分野を越えて再現可能性研究における対立する用語の使用を評価し、2つの主要な慣習を特定する。1つは、『再現』（reproduce）を結果の再確認のための元のコード／データの再実行を意味するとする（Claerbout/Donoho）ものであり、もう1つは、『再現』（replicate）を新しいデータや手法を用いた独立した再分析を意味するとする（Peng）ものである。主な貢献は、分野を越えた用語使用の体系的マッピングであり、学術的コミュニケーションと研究の整合性を高めるために標準化の必要性が顕在化している。

ABSTRACT

GIScience conference authors and researchers face the same computational reproducibility challenges as authors and researchers from other disciplines who use computers to analyse data. Here, to assess the reproducibility of GIScience research, we apply a rubric for assessing the reproducibility of 75 conference papers published at the GIScience conference series in the years 2012-2018. Since the rubric and process were previously applied to the publications of the AGILE conference series, this paper itself is an attempt to replicate that analysis, however going beyond the previous work by evaluating and discussing proposed measures to improve reproducibility in the specific context of the GIScience conference series. The results of the GIScience paper assessment are in line with previous findings: although descriptions of workflows and the inclusion of the data and software suffice to explain the presented work, in most published papers they do not allow a third party to reproduce the results and findings with a reasonable effort. We summarise and adapt previous recommendations for improving this situation and propose the GIScience community to start a broad discussion on the reusability, quality, and openness of its research. Further, we critically reflect on the process of assessing paper reproducibility, and provide suggestions for improving future assessments. The code and data for this article are published at https://doi.org/10.5281/zenodo.4032875.

研究の動機と目的

• 複数の分野にわたる科学文献における「再現」と「再現」（reproduce と replicate）の使用の相違を特定・分類すること。
• 計算科学および実証的研究におけるこれらの用語の歴史的発展と現在の適用状況を検討すること。
• 主な学術雑誌および専門協会（例：ACM、FASEB、American Journal of Political Science）がこれらの用語をどのように定義・適用しているかを評価すること。
• 用語の不一致が研究の再現可能性および科学的信頼性に与える影響を評価すること。
• 計算科学および実証的研究分野における確立された実務に準拠することで、標準化に向けた道筋を提示すること。

提案手法

• 142篇のGIScience国際会議論文を対象に、再現性に関する用語使用の横断的分析を実施した。
• 意思決定ツリーを用いて、論文が「再現」と「再現」を区別しているか、その場合にそれぞれの用語がどの基準に割り当てられているかを分類した。
• 政治学、信号処理、疫学、計算生物学を含む14の学術分野における用語使用をマッピングした。
• 主要出版者（例：Annals of Internal Medicine、Biostatistics、Genome Biology）の政策文書および雑誌ガイドラインをレビューし、用語基準の比較を行った。
• Claerbout、Donoho、Peng、Kingの基礎的文献を分析し、計算科学および実証的研究における用語の歴史的変遷をたどった。
• 第三者による再現検証（例：American Journal of Political Science）やReScienceの明示的再現モデルといった、機関の実務を評価した。

実験結果

リサーチクエスチョン

• RQ1 異なる科学的分野では、再現可能性研究の文脈において「再現」と「再現」（reproduce と replicate）をどのように定義・適用しているか。
• RQ2 再現性における用語の相違する慣習の歴史的・分野的根拠は何か。
• RQ3 主な学術雑誌および専門協会は、用語をどの程度標準化しているのか。また、それらの定義は基礎的文献と整合しているか。
• RQ4 なぜACMおよびFASEBは、広く用いられているClaerbout/Donoho/Pengのフレームワークとは逆の用語を使用しているのか。
• RQ5 政治学や経済学などの分野で確立された実務を損なわずに、用語の標準化を達成できるか。

主な発見

• 本稿は、2つの主要な用語使用のグループを特定した。グループA（「再現」と「再現」に区別がない）とグループB（用語を区別する）であり、グループBはさらにB1（再現＝同じデータ＋同じ手法→同じ結果）とB2（再現＝新しいデータまたは手法→同じ結果）に分かれる。
• Claerbout/Donohoのモデル—「再現可能な研究」とは、データとコードを公開して結果を再実行可能にするもの—は、計算科学、統計学、計算生物学分野で広く採用されている。
• これに対して、政治学、経済学、疫学分野では「再現」（replication）が、新しいデータを用いた独立した再分析を指しており、Pengの再現の定義（独立した確認）と一致している。
• American Journal of Political Science や Biostatistics などの雑誌では、「再現ファイル」や「再現可能な研究」の基準が制度化されており、一部では結果の第三者による検証が求められている。
• ReScience雑誌は明確に「再現」（reproduction）を「同じコードを同じデータで実行して正しさを検証すること」と定義し、「再現」（replication）を「同じ結果が得られるように新しいバージョンの手法を実装すること」と定義している。
• Claerbout/Donohoの用語体系は広く採用されているが、ACMおよびFASEBは逆の慣習を採用しており、国際計量用語集への言及など弱い根拠を挙げている。これは標準化を阻害する主要な障壁を生み出している。