[論文レビュー] Ten Simple Rules for Reproducible Research in Jupyter Notebooks

Adam Rule, Amanda Birmingham+9 more|arXiv (Cornell University)|Oct 13, 2018

Scientific Computing and Data Management参考文献 8被引用数 20

ひとこと要約

この論文は、Jupyter Notebookを用いた再現可能性のある研究を達成するための10の実行可能なルールを提示している。構造的なワークフロー、バージョン管理、ドキュメンテーション、オープンサイエンスの実践を重視している。コードの整理、プロヴァナンス追跡、共同開発のベストプラクティスを統合することで、著者たちはノートブックが計算科学の信頼性があり、再利用可能で透明性のあるツールとして機能できることを示している。

ABSTRACT

Reproducibility of computational studies is a hallmark of scientific methodology. It enables researchers to build with confidence on the methods and findings of others, reuse and extend computational pipelines, and thereby drive scientific progress. Since many experimental studies rely on computational analyses, biologists need guidance on how to set up and document reproducible data analyses or simulations. In this paper, we address several questions about reproducibility. For example, what are the technical and non-technical barriers to reproducible computational studies? What opportunities and challenges do computational notebooks offer to overcome some of these barriers? What tools are available and how can they be used effectively? We have developed a set of rules to serve as a guide to scientists with a specific focus on computational notebook systems, such as Jupyter Notebooks, which have become a tool of choice for many applications. Notebooks combine detailed workflows with narrative text and visualization of results. Combined with software repositories and open source licensing, notebooks are powerful tools for transparent, collaborative, reproducible, and reusable data analyses.

研究の動機と目的

• 生物学およびデータサイエンス分野における再現性の向上が急務であることを踏まえ、計算科学研究における再現性の向上に応えること。
• データ分析ワークフローにおける再現性を阻害する技術的および非技術的障壁を特定すること。
• Jupyter Notebookが、より良いドキュメンテーション、バージョン管理、プロヴァナンス追跡を通じて、これらの障壁をどのように軽減できるかを検討すること。
• 科学者が再現可能性のある研究実践を実装できる、実用的で実行可能なフレームワークを提供すること。
• ノートブックをソフトウェアリポジトリやオープンソースライセンスと統合することで、オープンサイエンスを推進すること。

提案手法

• 再現性を保証するための、Jupyter Notebookユーザーに特化した10のシンプルで実用的なルールを策定すること。
• コード、データ、ドキュメンテーションの変更を追跡するため、バージョン管理システム（例：Git）の使用を提唱すること。
• 関数や再利用可能なコンポONENTを用いたモジュラーなコード構造を推奨することで、明確さと保守性を向上させること。
• ノートブック内に仮定、データソース、計算手順を明確にドキュメント化することの重要性を強調すること。
• 実行環境の一貫性を確保するため、コンテナ化（例：Docker）および環境仕様（例：conda）の使用を推奨すること。
• 継続的インテグレーション／デリバリー（CI/CD）パイプラインおよび自動テストとの統合を通じて、時間経過に伴う再現性の検証を促進すること。

実験結果

リサーチクエスチョン

• RQ1 科学的ワークフローにおける再現可能性のある計算科学研究の主な技術的および非技術的障壁は何ですか？
• RQ2 Jupyter Notebookは、これらの障壁を効果的に克服し、研究の透明性を向上させるためにどのように活用できるでしょうか？
• RQ3 研究者が異なる環境で再現可能となるように、ノートブックベースの分析を保証するための具体的な実践とツールは何か？
• RQ4 プロヴァナンス追跡とバージョン管理を、ノートブックワークフローに意味的に統合するにはどうすればよいでしょうか？
• RQ5 オープンデータやライセンスといったオープンサイエンスの原則は、ノートブックベースの研究の再利用可能性をどのように向上させるのでしょうか？

主な発見

• 構造的なノートブックワークフローの採用は、計算科学研究の再現性と透明性を顕著に向上させる。
• バージョン管理と環境管理（例：conda や Docker を用いたもの）は、異なるシステム間での一貫した実行を保証するために不可欠である。
• ノートブック内にデータソース、仮定、分析手順を明確にドキュメント化することで、解釈可能性と再利用性が向上する。
• コードを関数や再利用可能なコンponentsにモジュラー化することで、保守性が向上し、エラーが減少する。
• ソフトウェアリポジトリとの統合およびCI/CDパイプラインの導入により、ノートブック出力の自動検証が可能になる。
• オープンサイエンスの実践、たとえばオープンデータやライセンスの導入により、ノートブックベースの研究の再利用可能性と影響力が高まる。