[論文レビュー] Data management to support reproducible research

Brian A. Wandell, Ariel Rokem+3 more|arXiv (Cornell University)|Feb 21, 2015

Scientific Computing and Data ManagementDecision Sciences参考文献 9被引用数 20

ひとこと要約

本論文では、研究プロジェクトの初期段階からデータおよび計算ワークフロー管理を統合することで、再現性のある研究を支援する科学的データ管理（SDM）システムを提示している。このシステムは、2年以上にわたりMRIセンターに導入されており、データの整合性を高め、手法の再利用を可能にし、研究ライフサイクル全体にわたりデータとコードの追跡を通じて透明性を確保している。これにより、定量的生物学分野における再現性と共同研究を著しく向上させるために、SDMツールの早期導入が顕著な効果をもたらすことが示された。

ABSTRACT

We describe the current state and future plans for a set of tools for scientific data management (SDM) designed to support scientific transparency and reproducible research. SDM has been in active use at our MRI Center for more than two years. We designed the system to be used from the beginning of a research project, which contrasts with conventional end-state databases that accept data as a project concludes. A number of benefits accrue from using scientific data management tools early and throughout the project, including data integrity as well as reuse of the data and of computational methods.

研究の動機と目的

• 研究の再現性の欠如に応えるために、プロジェクトの初期段階からデータ管理システムを導入すること。
• 研究ライフサイクル全体にわたりデータおよび計算ワークフローを追跡することで、データの整合性と透明性を向上させること。
• 構造的でバージョン管理された記録を維持することで、データおよび計算手法の複数の研究への再利用を可能にすること。
• 研究終了後のデータアーカイブから、活動中の研究段階で継続的かつ統合的なデータ管理へのパラダイム転換を実現すること。
• 定量的生物学および神経科学分野における共同作業が可能で、透明性があり再現性のある研究を支援すること。

提案手法

• SDMシステムは、研究プロジェクトの初期段階に導入されるものであり、後からアーカイブするのではなく、そうであるべきである。
• データ収集、処理、バージョン管理を計算ワークフローと統合することで、完全なプロバンス追跡を保証する。
• システムは、生データおよび処理済みデータをサポートし、パイプラインの各段階でメタデータを収集する。
• 研究者が分析を元の通りに再構築できるようにすることで、再現性を確保する。
• 異なる研究分野、特に神経画像解析および定量的生物学分野に適応可能な拡張性・柔軟性を持つように設計されている。
• データラインレージャンスを維持し、共同作業を促進するため、中央集権的でバージョン管理されたインfrastrucureを採用している。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてデータ管理システムを研究プロセスの初期段階に統合することで再現性を向上させられるか？
• RQ2 研究終了後のデータアーカイブと比較して、継続的データ管理がどのような利点をもたらすか？
• RQ3 SDMツールは、科学的研究におけるデータの整合性および手法の再利用をどの程度向上できるか？
• RQ4 SDMツールの早期導入は、定量的研究における共同作業および透明性にどのように影響するか？
• RQ5 統合されたデータおよびワークフローマネジメントシステムは、多様な科学的プロジェクトにおいて再現性のある研究を支援できるか？

主な発見

• SDMシステムは、2年以上にわたりMRIセンターで活発に使用されており、長期的な実用性を示している。
• 研究の初期段階からデータ管理を導入することで、データの整合性と分析の完全な再現性が保証されている。
• システムにより、複数の研究にわたりデータおよび計算手法の再利用が可能となり、重複を低減している。
• データおよびコードの完全なプロバンス追跡により、研究者が結果を正確に再現できる。
• このアプローチにより、反応的なデータアーカイブから、能動的で統合的なデータ管理へのパラダイム転換が実現されている。
• すべての研究手順の完全で監査可能な記録を維持することで、透明性と共同作業を支援している。