[論文レビュー] Enabling Reproducible Science with VisTrails

David Koop, Juliana Freire+1 more|arXiv (Cornell University)|Sep 6, 2013

Scientific Computing and Data Management参考文献 5被引用数 10

ひとこと要約

VisTrails は、計算プロバンエンスを記録し、多様なツールを統合し、インタラクティブで視覚的なデータ分析をサポートすることで、再現可能性のある科学を実現するオープンソースの科学的ワークフローシステムです。バージョン管理された実行可能パイプラインを通じて、科学者が複雑な計算ワークフローの追跡、再現、共有を可能にし、分野を越えて透明性と協働性を著しく向上させます。

ABSTRACT

With the increasing amount of data and use of computation in science, software has become an important component in many different domains. Computing is now being used more often and in more aspects of scientific work including data acquisition, simulation, analysis, and visualization. To ensure reproducibility, it is important to capture the different computational processes used as well as their executions. VisTrails is an open-source scientific workflow system for data analysis and visualization that seeks to address the problem of integrating varied tools as well as automatically documenting the methods and parameters employed. Growing from a specific project need to supporting a wide array of users required close collaborations in addition to new research ideas to design a usable and efficient system. The VisTrails project now includes standard software processes like unit testing and developer documentation while serving as a base for further research. In this paper, we describe how VisTrails has developed and how our efforts in structuring and advertising the system have contributed to its adoption in many domains.

研究の動機と目的

• 複数のツールとパラメータを含む複雑で反復的なワークフローが原因で生じる計算科学における再現性の課題に対処すること。
• プログラミングの深い知識がなくても、多様な分野の科学者がデータ分析および可視化ワークフローを構築・変更・共有できるようにすること。
• 入力、パラメータ、実行ステップを含む計算の全履歴を記録することで、プロバンエンス追跡を支援すること。
• 実世界での使用を通じて進化する使いやすく拡張可能なシステムを構築することで、コンピュータ科学者と分野の科学者との協働を促進すること。
• 教育、広報活動、および複数の科学的分野における教育・研究ワークフローへの統合を通じて、採用を促進すること。

提案手法

• ユーザーがグラフィカルインターフェースを用いてデータ分析および可視化パイプラインを構成できる視覚的ワークフローエンvironmentsを実装すること。
• 変更ベースのプロバンエンスを用いて、反復処理におけるワークフローの進化を追跡し、すべての変更およびパラメータの変更を記録すること。
• 多様な科学的ツールやライブラリ（例：Pythonスクリプト、可視化ライブラリ）を統合し、一元的で合成可能な実行環境にすること。
• モジュール型アーキテクチャをサポートすることで、異なる分野やインターフェース間で機能を再利用可能にすること。
• 保守性と拡張性を確保するため、ユニットテスト、継続的インテグレーション、ドキュメンテーションなどの標準的なソフトウェア工学的手法を適用すること。
• コミュニティの貢献と長期的開発を支援するため、バージョン管理およびコラボレーションプラットフォーム（例：GitHub）を活用すること。

実験結果

リサーチクエスチョン

• RQ1 複数のツール、パラメータ、反復的改善を含む科学的ワークフローは、どのように再現可能にできるか？
• RQ2 計算科学における透明性と検証性を実現するために、プロバンエンス追跡はどのような役割を果たすか？
• RQ3 非専門家向けの科学者でも使いやすく、同時に複雑でデータ集約的な分析をサポートできる科学的ワークフローシステムは、どのように設計できるか？
• RQ4 コンピュータ科学者と分野の科学者との協働は、より効果的で採用されやすい科学的ソフトウェアの開発をどのように促進するか？
• RQ5 ソフトウェア工学的手法は、科学的ワークフローシステムの長期的持続可能性と使いやすさをどのように向上できるか？

主な発見

• VisTrails は、視覚的でバージョン管理されたパイプラインを通じて、すべてのパラメータと実行ステップを含む完全な計算ワークフローの再現と共有を可能にしました。
• 実世界の事例では、視覚化の構築と最適化に要する時間が、数日から数時間にまで短縮され、著しい生産性向上が実現しました。
• 変更ベースのプロバンエンスにより、ユーザーはワークフローの進化を追跡でき、反復的改善のデバッグ、比較、理解が容易になりました。
• VisTrails は気候科学、神経科学、海洋学など多様な分野で成功裏に採用されており、広範な学際的有用性を示しています。
• 学生が分析の全ステップを示す完全な vistrails を提出することで、作業の提示を支援する教育現場でも使用されています。
• チュートリアル、論文発表、研究および教育ワークフローへの統合を通じた広報活動が、広範な採用とコミュニティ貢献を促進しました。