[論文レビュー] Software development practices in academia: a case study comparison

Derek Groen, Xiaohu Guo+3 more|arXiv (Cornell University)|Jun 17, 2015

Scientific Computing and Data Management参考文献 25被引用数 5

ひとこと要約

本研究では、9年間にわたり4つのオープンソースの科学的コードにおけるソフトウェア開発実践を分析し、チームの進化と工学的実践を科学的出版出力と関連づけた。開発努力は約3年後に測定可能な科学的リターンをもたらすことが判明し、チーム拡大に伴いテスト駆動開発やコードレビューといった実践が採用され、一時的な学術的チームであっても長期的な影響を維持することができた。

ABSTRACT

Academic software development practices often differ from those of commercial development settings, yet only limited research has been conducted on assessing software development practises in academia. Here we present a case study of software development practices in four open-source scientific codes over a period of nine years, characterizing the evolution of their respective development teams, their scientific productivity, and the adoption (or discontinuation) of specific software engineering practises as the team size changes. We show that the transient nature of the development team results in the adoption of different development strategies. We relate measures of publication output to accumulated numbers of developers and find that for the projects considered the time-scale for returns on expended development effort is approximately three years. We discuss the implications of our findings for evaluating the performance of research software development, and in general any computationally oriented scientific project.

研究の動機と目的

• 学術的環境におけるソフトウェア開発実践が時間経過とともにどのように進化するかを調査すること。
• オープンソースの科学的ソフトウェアにおいて、開発努力、チーム規模、科学的出版出力との関係を評価すること。
• テスト駆動開発やコードレビューなどのソフトウェア工学的実践が、学術的ソフトウェアプロジェクトにおいてどの程度効果的であるかを評価すること。
• 研究ソフトウェアにおける開発投資と科学的インパクトの間の時間遅れを理解すること。
• 学術的ソフトウェアプロジェクトの評価および資金提供に関する、根拠に基づいた提言を提供すること。

提案手法

• Chaste、HemeLB、Fluidity、ESPResSoの4つのオープンソースの科学的ソフトウェアプロジェクトを対象とした縦断的ケーススタディを実施した。
• 9年間にわたり、バージョン管理データ、出版記録、チーム構成を収集・分析した。
• 開発ライフサイクル全体にわたり、テスト駆動開発、コードレビュー、継続的インテグレーションなどのソフトウェア工学的実践の採用を追跡した。
• 出版出力を開発努力と関連づけ、統計的分析を用いて時間遅れの影響を測定した。
• チームサイズの変化を、開発戦略の変化および実践の採用の兆候としての代理指標とした。
• 著者順位のパターンと出版頻度の分析を通じて、ソフトウェア貢献の科学的インパクトを評価した。

実験結果

リサーチクエスチョン

• RQ1 チーム規模や構成の変化に伴い、学術的ソフトウェアプロジェクトにおけるソフトウェア開発実践はどのように進化するか？
• RQ2 ソフトウェア開発への投資から測定可能な科学的出版出力が得られるまでの時間遅れはどの程度か？
• RQ3 テスト駆動開発やコードレビューといったソフトウェア工学的実践が、科学的生産性の向上とどの程度相関するか？
• RQ4 一時的な学術的チームは、ソフトウェア工学的実践の持続可能性および採用にどのように影響するか？
• RQ5 これらの発見が、研究ソフトウェアプロジェクトの評価および資金提供に与える示唆は何か？

主な発見

• 学術的ソフトウェアプロジェクトにおける開発努力のリターンのスケールは約3年であり、出版出力はこの遅れの後にピークに達する。
• テスト駆動開発やコードレビューといった開発実践は、チーム規模の拡大に伴い採用されやすく、一度採用されればほとんど放棄されない。
• 科学的出版出力は開発努力と強く相関するが、4年または5年前の投資と比較すると相関が著しく弱まる。
• 多くの主要開発者が、自身のソフトウェアを用いて生成された出版物において顕著な著者として現れないことが判明し、インパクトが間接的でしばしば下流のユーザーを介して媒介されていることを示している。
• 特に短期間の助成金を対象とする場合に正確に科学的インパクトを評価するため、最終レビューを少なくとも3年遅らせるべきであると提言される。
• 研究ソフトウェアの影響をよりよく評価するため、査読済み出版物に加えて、ドキュメント化された機能、シミュレーションデータセット、プレプリントなどの予備的出力をレビュー委員会が検討すべきである。