[論文レビュー] Full Computational Reproducibility in Biological Science: Methods, Software and a Case Study in Protein Biology

Les Hatton, Gregory W. Warr|arXiv (Cornell University)|Aug 24, 2016

Scientific Computing and Data Management参考文献 26被引用数 6

ひとこと要約

本論文は、オープンソースツールを用いて生物学的科学における完全な計算再現性を達成する実用的なフレームワークを提示する。スイスプロトタンパク質データベースを用いた事例研究を通じて、バージョン管理されたデータ、自動スクリプト、レグRESSIONテストを用いて、図、表、統計解析のエンドツーエンドの再現性を実現している。これにより、ローカルで生成された結果が発表済みの出力と正確に一致することが保証される。

ABSTRACT

Independent computational reproducibility of scientific results is rapidly becoming of pivotal importance in scientific progress as computation itself plays a more and more central role in so many branches of science. Historically, reproducibility has followed the familiar Popperian [38] model whereby theory cannot be verified by scientific testing, it can only be falsified. Ultimately, this implies that if an experiment cannot be reproduced independently to some satisfactory level of precision, its value is essentially unquantifiable; put brutally, it is impossible to determine its scientific value. The burgeoning presence of software in most scientific work adds a new and particularly opaque layer of complexity [29]. In spite of much recent interest in many scientific areas, emphasis remains more on procedures, strictures and discussion [12, 14, 16, 29, 30, 37, 41], reflecting the inexperience of most scientific journals when it comes to software, rather than the details of how computational reproducibility is actually achieved, for which there appear to be relatively few guiding examples [6, 10, 17]. After considering basic principles, here we show how full computational reproducibility can be achieved in practice at every stage using a case study of a multi-gigabyte protein study on the open SwissProt protein database, from data download all the way to individual figure by figure reproduction as an exemplar for general scientific computation.

研究の動機と目的

• ソフトウェアの不透明さやワークフローの非文書化による、生物学的研究における計算再現性の欠如という増大する課題に対処すること。
• オープンソースツールと体系的なソフトウェア工学的手法を用いることで、実際の生物学的研究において完全な計算再現性が達成可能であることを示すこと。
• 研究者が単一のソースファイルからマニュスクリプト、図、表、統計解析を再利用可能なテンプレートとして生成できるようにすること。
• 完全な再現性を計算生物学の標準とするために、資金援助および機関的支援を促すこと。
• 科学的コンピューティングと伝統的な生物学的研究の間のギャップを、実用的で段階的な手法によって埋めること。

提案手法

• バージョン管理されたオープンソースソフトウェア（例：R、Perl、Linux）の使用により、あらゆるシステム間での透明性とポータビリティを確保すること。
• 図や表のすべてを専用スクリプトで自動生成し、各コンponent（例：図1A、1B、1C）を個別に生成すること。
• すべてのデータ、スクリプト、ベンチマーク結果を含む再現性パッケージを作成し、検証可能にする。
• `diff` コマンドを用いたレグRESSIONテストパイプラインを実装し、ローカルで生成されたデータファイルと発表済みのゴールスタンダード版との差異を比較すること。
• 視覚的およびプログラムによる検証が可能な人間が読み取り可能なフォーマット（例：.dat、.eps）を用いること。
• 発表済みの通りにすべての表や図のデータを正確に再現する統計解析スクリプト（例：Rスクリプト）を統合すること。

実験結果

リサーチクエスチョン

• RQ1 オープンソースツールと標準的なソフトウェア工学的手法のみを用いて、生物学的研究における完全な計算再現性を達成できるか？
• RQ2 研究者が単一のソースから、論文に含まれるすべての図、表、統計解析を独立して再現できるようにするにはどうすればよいか？
• RQ3 ローカルで生成された結果が発表済みの結果と高い精度で一致していることを検証するために、どのようなメカニズムが有効か？
• RQ4 プロプライエタリなシステムやフォーマットは、オープンで透明性のあるシステムと比較して、再現性をどの程度妨げるか？
• RQ5 計算生物学における完全な再現性の導入における実際の障壁は何か。それらはどのように克服できるか？

主な発見

• スイスプロトタンパク質データベースを対象とした複数ギガバイトに及ぶタンパク質研究において、オープンソースツールと自動スクリプトのみを用いて完全な計算再現性が成功裏に達成された。
• 図や表はすべて専用スクリプトによって個別に生成されており、モジュラリティと検証可能性が確保された。
• `diff` コマンドを用いたレグERSIONテストにより、ローカルで生成されたデータファイルとベンチマークデータファイルとの差異が信頼性高く特定され、差異は専用の出力ファイルに記録された。
• 単一のマニュスクリプトファイルを入力として用いることで、3Dプロットを含むすべての図、およびすべての統計解析が正確に再現可能となった。
• 本手法は標準的なデスクトップシステムでも実行可能であるが、データやソフトウェアフォーマットの不透明性のため、Windowsのようなプロプライエタリプラットフォームではより困難である。
• 本研究は、完全な再現性が単に可能であるのではなく、研究者が体系的なソフトウェア実践と機関的支援に投資すれば実用的であることを示している。