[論文レビュー] "Share and Enjoy": Publishing Useful and Usable Scientific Models

Tom Crick, Benjamin A. Hall+2 more|arXiv (Cornell University)|Sep 1, 2014

Scientific Computing and Data Management参考文献 11被引用数 4

ひとこと要約

本論文は、継続的インテグレーション（CI）システムを用いて再現性を保証することで、科学的モデルやアルゴリズムの共有、テスト、検証を自動化する統合型クラウドベースのインfra構築を提案する。ベンチマークをバージョン管理されたアーティファクトとして扱い、コードのコミット時に自動実行をトリガーすることで、リアルタイムかつ権威ある性能比較を可能にし、計算科学分野における研究の負担を軽減し、科学的発見を加速する。

ABSTRACT

The reproduction and replication of reported scientific results is a hot topic within the academic community. The retraction of numerous studies from a wide range of disciplines, from climate science to bioscience, has drawn the focus of many commentators, but there exists a wider socio-cultural problem that pervades the scientific community. Sharing code, data and models often requires extra effort; this is currently seen as a significant overhead that may not be worth the time investment. Automated systems, which allow easy reproduction of results, offer the potential to incentivise a culture change and drive the adoption of new techniques to improve the efficiency of scientific exploration. In this paper, we discuss the value of improved access and sharing of the two key types of results arising from work done in the computational sciences: models and algorithms. We propose the development of an integrated cloud-based system underpinning computational science, linking together software and data repositories, toolchains, workflows and outputs, providing a seamless automated infrastructure for the verification and validation of scientific models and in particular, performance benchmarks.

研究の動機と目的

• 計算科学分野における広範な再現性危機に対処し、科学的モデルやアルゴリズムへのアクセスと共有を改善すること。
• 科学的研究におけるコード、データ、モデルの再利用を妨げる文化的・技術的障壁を軽減すること。
• 統合型クラウドベースの継続的インテグレーション（CI）システムを通じて、科学的モデルおよびアルゴリズムの検証と検証を自動化すること。
• モデルとアルゴリズムが検証可能で公開可能な結果とともに進化する持続可能でスケーラブルなインfra構築を実現すること。
• 科学的モデルとベンチマークを研究の一次的出力として再定義し、出版物および実装と直接リンクすること。

提案手法

• 必要に応じて科学的ワークロードを実行するため、クラウドプラットフォーム（例：AWS、Google Cloud、Azure）を活用すること。
• Git などのバージョン管理レポジトリを用いて、モデル、アルゴリズム、ベンチマークスイートを一次的レポートアーティファクトとして管理すること。
• Jenkins や Visual Studio Online などの継続的インテグレーション（CI）システムを統合し、コードやモデルの更新時に自動実行をトリガーすること。
• 壁時計時間以外の標準化されたパフォーマンス指標を定義し、アルゴリズム的演算回数や終了性・安定性などの構造的特性を含めること。
• すべてのアルゴリズム実行結果を、すべてのベンチマークに対して権威的でタイムスタンプ付きの出力として公開し、カーネルアーカイブに類似させること。
• 共通で進化するベンチマークセットに対して新しいアルゴリズムの自動テストと検証を可能にし、初期段階から再現性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 再現性の負担が感じられなくなるような、科学的モデルとアルゴリズムの共有と検証の方法は何か？
• RQ2 科学的モデルとアルゴリズムの自動的かつ継続的な検証を可能にするために必要なインfra構築は何か？
• RQ3 多様な計算科学分野において、パフォーマンス指標を標準化し意味のあるものとするにはどうすればよいか？
• RQ4 クラウドベースの継続的インテグレーションは、科学的ソフトウェアの信頼性と再利用可能性をどのように向上させられるか？
• RQ5 ベンチマークとアルゴリズムが共有され、自動化されたシステム内で共同開発・バージョン管理されるモデルを採用するように科学コミュニティをどのようにインcentivizeできるか？

主な発見

• 統合型クラウドベースの継続的インテグレーションシステムは、共有ベンチマーク上で科学的アルゴリズムの実行と検証を自動化でき、人的作業と誤りを顕著に軽減する。
• 演算回数や終了性・安定性などの構造的特性といったパフォーマンス指標を壁時計時間よりも優先することで、ベンチマーク結果の信頼性と比較可能性が向上する。
• 本システムにより、ベンチマーク上でのアルゴリズム結果がリアルタイムかつ権威的に公開され、科学的比較のための信頼できるバージョン管理済みの事実の源が実現される。
• 論文、モデル、実装を自動CIパイプラインでリンクすることで、外部検証が促進され、科学的出力の再利用が支援される。
• 提案されたインfra構築により、再現性の負担が軽減され、それは負担ではなく生産性向上ツールとして位置づけられるようになる。
• 本モデルは、モデルとアルゴリズムが共有され、自動化された環境で開発・検証される場合、データ集約型科学発見の「第四のパラダイム」が実現可能であることを示している。