[論文レビュー] Standing Together for Reproducibility in Large-Scale Computing: Report on reproducibility@XSEDE

Doug L. James, Nancy Wilkins‐Diehr+53 more|arXiv (Cornell University)|Dec 17, 2014

Scientific Computing and Data Management参考文献 3被引用数 9

ひとこと要約

本論文は、reproducibility@XSEDEワークショップの成果を提示しており、大規模な計算科学研究における再現可能性を確保するための機関的および個人的責任の重要性を主張している。本論文は、改善された文書作成、システムレベルのプロバンス追跡、協働的なベストプラクティス、ゲートウェイ開発といった実行可能な戦略を提言し、優れた再現可能性研究を顕彰する年間賞の導入可能性にも言及している。

ABSTRACT

This is the final report on reproducibility@xsede, a one-day workshop held in conjunction with XSEDE14, the annual conference of the Extreme Science and Engineering Discovery Environment (XSEDE). The workshop's discussion-oriented agenda focused on reproducibility in large-scale computational research. Two important themes capture the spirit of the workshop submissions and discussions: (1) organizational stakeholders, especially supercomputer centers, are in a unique position to promote, enable, and support reproducible research; and (2) individual researchers should conduct each experiment as though someone will replicate that experiment. Participants documented numerous issues, questions, technologies, practices, and potentially promising initiatives emerging from the discussion, but also highlighted four areas of particular interest to XSEDE: (1) documentation and training that promotes reproducible research; (2) system-level tools that provide build- and run-time information at the level of the individual job; (3) the need to model best practices in research collaborations involving XSEDE staff; and (4) continued work on gateways and related technologies. In addition, an intriguing question emerged from the day's interactions: would there be value in establishing an annual award for excellence in reproducible research?

研究の動機と目的

• 大規模な計算科学研究における再現可能性の課題が増大する中で、研究結果がしばしば検証や再現が困難であるという問題に対処すること。
• XSEDEのようなスーパーコンピュータセンターが、再現可能性研究の実践を促進する上で果たす独自の役割を特定すること。
• 他の研究者が再現可能であるかのように、研究者が実験を設計する際の完全な透明性を促すこと。
• 研究ライフサイクルに再現可能性を組み込むために必要な技術的および文化的な転換を浮き彫りにすること。
• 年間賞のような機関的評価メカニズムの実現可能性を検討すること、すなわち優れた再現可能性研究を顕彰するためのもの。

提案手法

• XSEDE14会議の会期中に、1日間のディスカッション中心のワークショップを実施し、多様な研究者および関係者からの知見を集めた。
• 大規模コンピューティング環境における再現可能性に関連する課題、ツール、ベストプラクティスについての意見収集を行った。
• 個々のジョブレベルでビルド時および実行時プロバンスを記録するシステムレベルのツールの提案により、透明性を向上させた。
• 研究ワークフローに再現可能性を組み込むために、文書作成およびトレーニングプログラムの重要性を強調した。
• XSEDEスタッフと外部研究者を含む研究協働のベストプラクティスを模倣することを提唱した。
• 科学的ゲートウェイの開発および強化を検討し、再現可能性研究の実践を支援するプラットフォームとして位置づけた。

実験結果

リサーチクエスチョン

• RQ1 XSEDEのようなスーパーコンピュータセンターは、大規模な計算プロジェクト全体にわたり、再現可能性研究をどのように積極的に推進・支援できるか？
• RQ2 他の人が意味的に再現できるようにするための、計算実験を保証するために必要な技術的および手順的改善は何か？
• RQ3 標準化された文書作成およびトレーニングは、ハイパフォーマンスコンピューティングにおける再現性の障壁をどれほど低減できるか？
• RQ4 システムレベルのプロバンス追跡ツールは、計算ワークフローの透明性および監査可能性をどのように向上させるか？
• RQ5 優れた再現可能性研究を顕彰する年間賞があれば、科学コミュニティにおけるベストプラクティスの定着とインcentivizationを促進できるだろうか？

主な発見

• 特にスーパーコンピュータセンターを含む組織的ステークホルダーは、インfra構築、方針、支援を通じて、再現性を推進する上でユニークな立場にある。
• 研究者は再現を念頭に置いた完全な透明性を原則とする姿勢を採るべきである。
• ジョブレベルでビルド時および実行時プロバンスを記録するシステムレベルのツールは、計算ワークフローの追跡と再現性の確保に不可欠である。
• 文書作成およびトレーニングの改善は、再現可能性研究の実践の広範な導入を実現する上で重要な促進要因である。
• XSEDE支援の協働研究におけるベストプラクティスの模倣は、他の研究機関にとってのテンプレートとして機能することができる。
• 優れた再現可能性研究を顕彰する年間賞の導入が、優れた透明性を備えた研究を促進するための潜在的なメカニズムとして提起された。