[論文レビュー] "Can I Implement Your Algorithm?": A Model for Reproducible Research Software

Tom Crick, Benjamin A. Hall+1 more|Cronfa (Swansea University)|Jul 22, 2014

Scientific Computing and Data Management参考文献 19被引用数 10

ひとこと要約

この論文は、依存関係の管理、継続的インテグレーション、ベンチマーキングを自動化することで、アルゴリズムの信頼できる実装と再現性を保証する、クラウドベースでオープンな再現性のある科学的ソフトウェアプラットフォームを提案する。コードを標準化されたバージョン管理環境にホスティングし、公開され、キュレートされたベンチマークを提供することで、モデルは自動テストとツール間の公平な比較を可能にし、計算科学における再現性を著しく向上させる。

ABSTRACT

The reproduction and replication of novel results has become a major issue for a number of scientific disciplines. In computer science and related computational disciplines such as systems biology, the issues closely revolve around the ability to implement novel algorithms and approaches. Taking an approach from the literature and applying it to a new codebase frequently requires local knowledge missing from the published manuscripts and project websites. Alongside this issue, benchmarking, and the development of fair --- and widely available --- benchmark sets present another barrier. In this paper, we outline several suggestions to address these issues, driven by specific examples from a range of scientific domains. Finally, based on these suggestions, we propose a new open platform for scientific software development which effectively isolates specific dependencies from the individual researcher and their workstation and allows faster, more powerful sharing of the results of scientific software engineering.

研究の動機と目的

• 計算生物学やコンピュータサイエンスなどの分野における科学的ソフトウェアの再現性の低下が深刻化する中、その問題に取り組むこと。
• 欠落した実装の詳細や文書化されていない依存関係によって、発表済みのアルゴリズムを再実装することが困難になる障壁を低減すること。
• 客観的なツール比較を可能にする、公平で標準化され、公開されたベンチマークの促進。
• インcentivesと機関的支援を通じて、ソースコードと計算的アーティファクトのオープンな共有を促進すること。
• クラウド上でホスティングおよびテスト可能な、持続可能でコミュニティがメンテナンスする科学的ソフトウェアのインfraストラクチャを確立すること。

提案手法

• 研究者が個々のワークステーションからソフトウェアの依存関係を分離するクラウドホスティングプラットフォームを提案する。
• 継続的インテグレーションを統合し、コードのプッシュや依存関係の更新ごとに自動的に再構築およびテストを行う。
• すべてのツールが使用可能で貢献可能な標準フォーマットで、公開されキュレートされたベンチマークセットをホスティングする。
• Webインターフェースやインタラクティブ環境（例：Try F#）をサポートし、ローカルインストールなしでツールを探索できるようにする。
• 標準化された問題解決チャレンジに実装を登録することで、アルゴリズムコンペティションを可能にする。
• アーティファクト評価トラックやジャーナルの承認といったインcentivesを適用し、オープンで再現可能な実践の採用を促進する。

実験結果

リサーチクエスチョン

• RQ1 高レベルまたは曖昧な記述しか与えられていない場合でも、第三者が発表済みのアルゴリズムを実装可能であることをどのように保証できるか？
• RQ2 科学的ソフトウェアとそのベンチマークを、再利用可能でバージョン管理可能かつローカル環境に依存しないものにするためのメカニズムは何か？
• RQ3 公開され、標準化され、キュレートされたベンチマークは、ツール評価における公平性と比較可能性をどのように向上させるか？
• RQ4 クラウドベースの継続的インテグレーションは、長期的な再現性を維持し、コードの劣化（bitrot）を防ぐために果たす役割は何か？
• RQ5 機関的インcentivesとコミュニティインfraストラクチャは、研究者がソースコードと計算的アーティファクトを共有するよう促すために果たす役割は何か？

主な発見

• 提案されたプラットフォームは、依存関係を分離し、コードのプッシュごとにベンチマークを実行することで、科学的ソフトウェアの自動的かつ再現可能なテストを可能にする。
• 標準フォーマットで公開され、コミュニティがキュレートしたベンチマークは、バイアスを低減し、ツール比較における公平性を向上させる。
• クラウドベースの継続的インテグレーションにより、下位レベルのライブラリやプラットフォームの変更があっても、ソフトウェアが正常に機能し、最新の状態を保てる。
• インタラクティブなWebインターフェースにより、複雑な依存関係をインストールせずに、ツールを探索・テストできる。
• コードの劣化を防ぎ、実装が長期間にわたりアクセス可能でテスト可能であることを保証することで、長期的な再現性を支援する。
• 国際会議やジャーナルによる支援を受けることで、このようなプラットフォームの機関的採用が、計算科学分野における再現性研究の事実上の標準になる可能性がある。