[論文レビュー] Designing for Reproducibility: A Qualitative Study of Challenges and Opportunities in High Energy Physics

Sebastian S. Feger, Sünje Dallmeier-Tiessen+2 more|arXiv (Cornell University)|Mar 14, 2019

Scientific Computing and Data Management参考文献 51被引用数 8

ひとこと要約

本研究は、CERNに所属する12名の実験的素粒子物理学者を対象としたインタビューに基づき、素粒子物理学分野における再現可能性のある研究のためのシステム設計における課題と機会を調査している。動機づけ、コミュニケーション、不確実性、協働作業、自動化、スケーラビリティを、設計の主要な次元として特定し、中央集権的保存プラットフォームへの研究者の貢献を促すために、作業効率の向上や可視性の向上といった二次的利点が有効であると提言している。

ABSTRACT

Reproducibility should be a cornerstone of scientific research and is a growing concern among the scientific community and the public. Understanding how to design services and tools that support documentation, preservation and sharing is required to maximize the positive impact of scientific research. We conducted a study of user attitudes towards systems that support data preservation in High Energy Physics, one of science's most data-intensive branches. We report on our interview study with 12 experimental physicists, studying requirements and opportunities in designing for research preservation and reproducibility. Our findings suggest that we need to design for motivation and benefits in order to stimulate contributions and to address the observed scalability challenge. Therefore, researchers' attitudes towards communication, uncertainty, collaboration and automation need to be reflected in design. Based on our findings, we present a systematic view of user needs and constraints that define the design space of systems supporting reproducible practices.

研究の動機と目的

• 素粒子物理学における研究データの保存および共有に対する実験的素粒子物理学者の態度、動機づけ、および障壁を理解すること。
• データ集積的な科学的環境における再現可能性のある研究実践を支援するシステムの設計要件を同定すること。
• コミュニケーション、協働作業、自動化といった二次的利用形態が、研究保存プラットフォームへの貢献を促進するメカニズムを探索すること。
• 不確実性と可視性が、研究者がデータ保存システムに参加する動機づけに果たす役割を検討すること。
• 素粒子物理学研究者や同様のデータ集積的な科学コミュニティのニーズに適合した、中央集権的保存サービスの設計インプリケーションを開発すること。

提案手法

• CERNに所属する12名の実験的素粒子物理学者を対象に、データ保存、共有、協働作業の実践について焦点を当てた半構造的インタビューを実施した。
• インタビューのデータをテーマ分析を用いて分析し、保存システムに対する研究者の態度の繰り返しパターンを同定した。
• 紙ベースの演習およびプロトタイプの研究保存サービスを用いて、ワークフロー統合および認識される利点に関するインサイトを引き出した。
• 動機づけ、コミュニケーション、不確実性、協働作業、自動化、スケーラビリティの6つのコアテーマに分析結果をマッピングした。
• 明らかにされたユーザーのニーズと制約に基づき、参加を促すために二次的利点を強調した設計インプリケーションを開発した。
• 研究の再現性を支援するため、インタビューのガイドやコードブックテンプレートを含む、公開済みの研究アーティファクトを補足資料として提供した。

実験結果

リサーチクエスチョン

• RQ1 素粒子物理学における実験的素粒子物理学者が、研究データの保存および共有を行う動機づけや、その阻害要因は何か？
• RQ2 研究者がコミュニケーション、不確実性、協働作業がデータ保存および再現性に果たす役割をどのように認識しているか？
• RQ3 自動化および構造化されたテンプレートが、データ集積的な研究における保存実践の採用をどのように改善できるか？
• RQ4 コンプライアンスを超えた二次的利点として、研究者が中央集権的保存プラットフォームへの貢献に関連づけるものは何か？
• RQ5 大規模かつ分散型の科学的共同作業（例：HEP分野の共同作業）の文脈において、スケーラビリティの課題はどのように現れるか？

主な発見

• 再現可能性の科学的意義は認識されているものの、個人的利点が感じられないことから、研究者がデータの保存・共有に対して低い動機づけを示している。
• コミュニケーションの向上、不確実性の低減、協働作業の強化といった二次的利点が、保存プラットフォームへの貢献を促す主要な要因であると特定された。
• 研究ワークフローと整合する標準化されたテンプレートによる自動化は、保存システムの効率性および使いやすさを顕著に向上させると認識されている。
• 中央集権的保存プラットフォームは、データおよび解析パイプラインの信頼性のあるバージョン管理記録を提供することで、不確実性の管理を支援できる。
• 貢献の可視化や分散チームにおける専門知識の特定を支援する保存システムは、協働作業を強化する。
• スケーラビリティの課題は技術的制限によるものではなく、インcentive（インcentive）の不足と作業に対するリターンの低さに起因しており、動機づけを重視した設計の必要性が示された。