[論文レビュー] Reproducible Research is more than Publishing Research Artefacts: A Systematic Analysis of Jupyter Notebooks from Research Articles

Max Schröder, Frank Krüger+1 more|arXiv (Cornell University)|Apr 8, 2019

Scientific Computing and Data Management被引用数 5

ひとこと要約

本研究では、研究論文に付随して公開されたJupyterノートブックの再現可能性を評価し、透明性の可能性がある一方で、多くのノートブックが環境ドキュメントの欠落や不完全さ、依存関係のバージョニング不足、データの入手不能により、完全な再現性を確保できないことが判明した。22個のノートブックのうち、同一の出力を得て完全に再実行可能なのはたった3つにとどまり、公開にとどまらない研究アセット共有における深刻なギャップが浮き彫りになった。

ABSTRACT

With the advent of Open Science, researchers have started to publish their research artefacts (i. e., data, software, and other products of the investigations) in order to allow others to reproduce their investigations. While this publication is beneficial for science in general, it often lacks a comprehensive documentation and completeness with respect to the artefacts. This, in turn, prevents the successful reproduction of the analyses. Typical examples are missing scripts, incomplete datasets or specification of used software. Moreover, issues about licences often create legal concerns. This is true for the use of commercial software but also for the publication of research artefacts without proper sharing licence. As a result, the sole publication of research artefacts does not automatically result in reproducible research. To empirically confirm this, we have been systematically analysing research publications that also published their investigations as Jupyter notebooks. In this paper, we present preliminary results of this analysis for five publications. The results show, that the quality of the published research artefacts must be improved in order to assure reproducibility.

研究の動機と目的

• 研究論文に付随して公開されたJupyterノートブックの再現可能性を評価すること。
• 再現性を妨げるドキュメント不足、環境仕様の不備、アセットの入手不能といったギャップを特定すること。
• 公開されたノートブックが同一の出力を得るために、正常に再構築され、再実行可能かどうかを評価すること。

提案手法

• 2018年の論文において、研究アセットとしてJupyterノートブック（.ipynbファイル）を含むものをPubMed Central（PMC）で検索した。
• ノートブックが欠落または関連のないものであったため、36件の関連する出版物を除外した後、選定した。
• 5件のランダムに選ばれた出版物について、ノートブックのドキュメントに基づいてDockerおよびcondaを用いて計算環境を再構築した。
• 再構築した環境を用いて、すべてのノートブックセルを実行し、nbdimeを用いて元の結果と出力を比較した。
• 6つの基準に基づき再現性を評価した：ノートブック数、ドキュメントの配置場所、要件ドキュメント、環境の可用性、データの可用性、出力の再現性。

実験結果

リサーチクエスチョン

• RQ1 研究論文で言及されているJupyterノートブックと、実際に公開されているノートブックの数はそれぞれどれほどか？
• RQ2 ソースコードアセットおよびそのドキュメントはどこにホスティングされており、バージョニングが指定されているか？
• RQ3 公開ドキュメントから、ノートブックを実行するために必要なソフトウェア環境を再構築できるか？
• RQ4 研究の完全な生データが再実行のために利用可能か？
• RQ5 ノートブックが元の出力を再現するために、どの程度完全に再実行可能か？

主な発見

• 5件の出版物にわたる22個のJupyterノートブックのうち、再実行後に同一の出力を得られたのはたった3つにとどまり、完全な再現性を満たした。
• 22個のノートブックのうち、9個で計算環境の再構築に成功したが、主に依存関係仕様の不完全さや欠落が原因であった。
• 大多数のリポジトリでソースコードのバージョニングリンクが欠落しており、67%のソースコードアセットがライセンスを提供しておらず、再利用を制限していた。
• 1つのプロジェクトを除き、環境の一貫性を保証するためにコンテナ化（Docker）を採用していなかった。他のプロジェクトでは、手動による環境再構築が必要だった。
• 3つのノートブックはデータの欠落により失敗し、他のノートブックは環境再構築に成功しても、未割り当ての定数や欠落したインポートにより失敗した。
• ソフトウェア要件のドキュメントは、ノートブック内にほとんどなく、リポジトリ全体に散在しており、2つのプロジェクトを除き、Read the Docs や mkdocs といった専用ドキュメントツールを用いていなかった。