[論文レビュー] Seeking Enlightenment: Incorporating Evidence-Based Practice Techniques in a Research Software Engineering Team

Reed Milewicz, Jonathan Bisila+2 more|arXiv (Cornell University)|Dec 22, 2023

Scientific Computing and Data Management被引用数 1

ひとこと要約

本論文は、サンディア国立研究所の研究ソフトウェア工学（RSE）チームにおいて、証拠に基づく実践（EBP）手法—特にレッドビューレビュー（rapid reviews）—を適用した経験報告を提示する。迅速レビューが研究の証拠を効率的にソフトウェア工学の実務的実践に変換できることを示しており、訓練の必要性、研究の不完全性、ステークホルダーの賛同といった主な課題を特定し、RSEコミュニティにおけるEBPの導入に向けた実用的かつ具体的な提言を提示している。

ABSTRACT

Evidence-based practice (EBP) in software engineer- ing aims to improve decision-making in software development by complementing practitioners’ professional judgment with high- quality evidence from research. We believe the use of EBP techniques may be helpful for research software engineers (RSEs) in their work to bring software engineering best practices to scientific software development. In this study, we present an experience report on the use of a particular EBP technique, rapid reviews, within an RSE team at Sandia National Laboratories, and present practical recommendations for how to address barriers to EBP adoption within the RSE community.

研究の動機と目的

• 証拠に基づく実践（EBP）手法が研究ソフトウェア工学（RSE）の文脈において実現可能で効果的であるかを検討すること。
• RSEチーム内での研究証拠を実務的ソフトウェア工学意思決定に変換する手法としての迅速レビューの使用を調査すること。
• RSEがEBP手法を採用するにあたり直面する障壁を特定し、それらを克服する戦略を開発すること。
• 生涯にわたる学びと実務基準の向上を通じて、RSEの専門性を高めること。

提案手法

• RSEチームメンバーに対して、ソフトウェア工学のトピックに関する関連研究証拠を要約する形で、時間制限付きの迅速レビューをサービスとして実施した。
• 迅速レビューを依頼したRSEから得たフィードバックを、定性的インタビューを通じて収集・分析した。
• 研究チーム自身が、EBP手法がRSE作業にどの程度適用可能であるかを検証するための自己的確な振り返りを実施した。
• EBPの広範な文献から得た知見を統合し、RSE実務における研究結果の文脈を明確にした。
• 実務家からのフィードバックと文献レビューを組み合わせた混合手法を用いて、迅速レビューをEBP手法としての有効性を評価した。
• 観察された課題と成功事例に基づき、EBP導入に向けた提言を開発した。

実験結果

リサーチクエスチョン

• RQ1 迅速レビューがRSE文脈におけるEBP手法として持つ強みと限界は何か？
• RQ2 RSEが一般的にEBP手法を採用するにあたり直面する課題は何か？
• RQ3 それらの課題を克服するために有効な戦略は何か？
• RQ4 EBPをRSEのワークフローに統合するには、どのようにすれば継続的学びと専門性の向上を支援できるか？

主な発見

• 迅速レビューは、ソフトウェア工学的問題の解決策の範囲をマッピングし、研究の知見がRSE文脈にどの程度適用可能であるかを評価するための効率的な手法であることが判明した。
• 迅速レビューの成功は、情報ニーズを明確に説明できるリクエスターの能力と、文献レビューを適切に実施できるレビュー担当者の訓練に大きく依存していた。
• 主な制限要因として、既存の研究が不完全であることが挙げられ、場合によっては明確な結論や提言を導くことが困難になった。
• RSEでないチームメンバーは、証拠が強くても、実践の採用にあたっては賛同を得る必要があり、ステークホルダーの関与が不可欠であることが示された。
• RSEはしばしば、ソフトウェア工学的実務に関する価値観や優先順位が異なる多様な分野のメンバーから構成されるチームで活動しており、それらがEBPの導入を妨げる障壁となった。
• RSEの知識の役割、専門性、価値について、全員が共有する明確な理解を確立することが、EBP統合の成功に不可欠であると特定された。