[論文レビュー] How to Read a Research Compendium

Daniel Nüst, Carl Boettiger+1 more|arXiv (Cornell University)|Jun 11, 2018

Scientific Computing and Data Management参考文献 8被引用数 6

ひとこと要約

本論文は、研究教書（コード、データ、原稿を統合したパッケージ）を対象として、Keshavの三段階読解法を拡張し、技術的複雑性よりも科学的洞察を重視する構造的で反復的な読解ステップを導入することで、再現可能性のある研究出力の効率的かつ透明性の高いナビゲーションを可能にする。

ABSTRACT

Researchers spend a great deal of time reading research papers. Keshav (2012) provides a three-pass method to researchers to improve their reading skills. This article extends Keshav's method for reading a research compendium. Research compendia are an increasingly used form of publication, which packages not only the research paper's text and figures, but also all data and software for better reproducibility. We introduce the existing conventions for research compendia and suggest how to utilise their shared properties in a structured reading process. Unlike the original, this article is not build upon a long history but intends to provide guidance at the outset of an emerging practice.

研究の動機と目的

• 研究教書（従来の静的論文をはるかに超えて、コード、データ、原稿を統合したもの）に特化した構造的読解戦略の需要の増大に応えること。
• 技術的詳細に圧倒されないよう、科学的視点を最優先にした反復的アプローチを強調することで、読者が教書を探索するのを支援すること。
• 読者のニーズを予測し、使いやすさを高めることで、教書設計の改善を支援すること。
• 標準化された読解慣行を通じて計算科学研究への深いつながりを促進することで、再現可能性とオープンサイエンスを推進すること。

提案手法

• Keshavの三段階読解法（概要、詳細な読解、統合）を研究教書に適応させ、コード、データ、計算ワークフローの点検を統合する。
• 科学的目標の理解を最優先にした構造的読解プロセスを導入する。
• 反復的探索を奨励：読者はまず原稿と図を確認し、次にコードとデータを検討し、最後に結果をテストまたは再現する。
• 主要なソフトウェア、データ、ツールの引用をたどることで、基盤的で新興の研究教書を特定するための横断的探索戦略を提唱する。
• ReScience、JOSS、rOpenSci などのコミュニティ基準およびリポジトリを活用して、高品質な研究教書の発見と評価を支援する。
• GitHubを活用した「生き永らえる文書」の維持を提言し、読解慣行の継続的改善とコミュニティからのフィードバックを可能にする。

実験結果

リサーチクエスチョン

• RQ1 コード、データ、原稿を一つのパッケージに統合した研究教書を、効率的かつ的確に読み解くにはどうすればよいか？
• RQ2 計算科学研究に取り組む際、技術的複雑性よりも科学的洞察を優先できる構造的読解アプローチは何か？
• RQ3 著者が研究教書をどのように設計すれば、読者のニーズを満たし、再現性を高められるか？
• RQ4 複数の教書にまたがる主要なソフトウェア、データ、手法を特定するには、読者がどのような戦略を用いるべきか？
• RQ5 三段階読解法の原則を、計算科学研究における再現性と透明性を高めるために、どのように適応できるか？

主な発見

• 適応された三段階読解法により、読者は科学的目標の評価、計算的要素の検討、結果のテストまたは再現という順序で、研究教書を体系的に探索できる。
• 科学的視点を最優先にした反復的アプローチに従う読者は、技術的詳細に巻き込まれることなく、研究プロセスの深い理解に到達する。
• ソフトウェア、データ、ツールの引用をたどる横断的探索は、基盤的で新興の研究教書を特定する有効な戦略を提供する。
• 適切にドキュメント化されたコード、データ、依存関係を含む研究教書は、計算科学研究における再現性と透明性を顕著に向上させる。
• ReScience、JOSS、rOpenSci などのコミュニティ主導のプラットフォームは、高品質な研究教書の発見と評価の信頼できる入り口を提供する。
• GitHubを活用した「生き永らえる文書」モデルにより、コミュニティからのフィードバックと共同改善を通じて、読解慣行の継続的改善が可能になる。