[論文レビュー] PLOS/Mozilla Scientific Code Review Pilot: Summary of Findings

Marian Petre, Greg Wilson|arXiv (Cornell University)|Nov 11, 2013

Genetics, Bioinformatics, and Biomedical Research参考文献 4被引用数 3

ひとこと要約

この論文は、PLOS Computational Biologyの論文から科学的コードをプロフェッショナルなソフトウェア開発者がレビューするパイロットプログラムを評価している。ドメイン知識の制限や著者との直接的対話がないという課題にもかかわらず、科学者と開発者の両方がこのプロセスに価値を見出し、再実施を強く希望した。これは、再現性の向上に向けたコードレビューの潜在的可能性を示している。

ABSTRACT

PLOS and Mozilla conducted a month-long pilot study in which professional developers performed code reviews on software associated with papers published in PLOS Computational Biology. While the developers felt the reviews were limited by (a) lack of familiarity with the domain and (b) lack of two-way contact with authors, the scientists appreciated the reviews, and both sides were enthusiastic about repeating the experiment.

研究の動機と目的

• 計算生物学における科学的ソフトウェアに対するプロフェッショナルなコードレビューの実施可能性と価値を評価すること。
• コードレビューが学術的研究におけるソフトウェア品質と再現性に与える影響を評価すること。
• 開発者および科学者の両視点から、主な課題と利点を理解すること。
• コードレビューを学術的出版プロセスに統合する可能性を探ること。
• このようなモデルが学術的出版においてスケーラブルまたは制度化可能かどうかを特定すること。

提案手法

• PLOS Computational Biologyに掲載された論文のコードを対象に、1か月間のパイロット研究を実施。専門的なソフトウェア開発者がコードレビューに従事。
• 選定されたコードベースは著者から提出され、ドメイン知識のない経験豊富な開発者によってレビューされた。
• 標準的なソフトウェア工学的手法を用いてレビューを実施し、正しさ、明確さ、保守性に焦点を当てた。
• レビュー後のアンケートとインタビューを通じて、開発者および著者からのフィードバックを収集。
• フィードバックを分析し、共通する課題、認識された利点、改善のための提言を特定。
• 定性的およびテーマ分析を用いて反応を解釈し、レビュー過程全体の影響を評価。

実験結果

リサーチクエスチョン

• RQ1 ドメイン知識が限られる状況下でも、プロフェッショナルなコードレビューは科学的ソフトウェアの品質をどれほど向上させ得るか？
• RQ2 ドメイン専門知識が欠如する状況で、開発者が科学的コードレビューにおいて直面する主な課題は何か？
• RQ3 科学者は外部のコードレビューが自身の研究ソフトウェアに与える価値をどのように評価しているか？
• RQ4 開発者と著者の間のコミュニケーションが、コードレビューの効果性に果たす役割は何か？
• RQ5 コードレビューのプロセスは、学術的出版ワークフローに持続可能に統合可能か？

主な発見

• 開発者らは、ドメイン知識の不足がレビューの深さと正確性を著しく制限したと報告した。
• 著者との双方向的コミュニケーションが存在しないため、コードやその文脈の曖昧さを解消できなかった。
• 科学者たちはフィードバックを高く評価し、コード品質と再現性の向上に役立つと感じた。
• 開発者および科学者の両方が、パイロットの再実施を強く希望しており、プロセスの価値を認識していた。
• パイロットは、ドメイン知識が限られる状況下でも、外部コードレビューが科学的ソフトウェア品質を向上させ得ることを示した。
• 結果から、構造的なコードレビューが学術的出版における科学的ソフトウェア検証の価値ある要素となる可能性が示唆された。