[論文レビュー] Use and evaluation of simulation for software process education: a case study

Nauman bin Ali, Michael Unterkalmsteiner|arXiv (Cornell University)|Jul 24, 2023

Software Engineering Techniques and Practices被引用数 4

ひとこと要約

本研究では、大学院のプロジェクトマネジメント課程においてソフトウェアプロセスシミュレーション（SimSE）を用いることで、学生がソフトウェア開発プロセスの選択を説得力を持って説明できる能力を向上させることを評価している。拡張された証拠に基づく推論（EBR）フレームワークを用いた分析により、シミュレーション導入後、学生の主張の強度が著しく向上したことが判明したが、従来の方法と比較して評価作業は依然として時間的にコストがかかることがわかった。

ABSTRACT

Software Engineering is an applied discipline and concepts are difficult to grasp only at a theoretical level alone. In the context of a project management course, we introduced and evaluated the use of software process simulation (SPS) based games for improving students' understanding of software development processes. The effects of the intervention were measured by evaluating the students' arguments for choosing a particular development process. The arguments were assessed with the Evidence-Based Reasoning framework, which was extended to assess the strength of an argument. The results indicate that students generally have difficulty providing strong arguments for their choice of process models. Nevertheless, the assessment indicates that the intervention of the SPS game had a positive impact on the students' arguments. Even though the illustrated argument assessment approach can be used to provide formative feedback to students, its use is rather costly and cannot be considered a replacement for traditional assessments.

研究の動機と目的

• プロジェクトマネジメント課程におけるソフトウェアプロセスモデル選択の根拠を説明する困難さに対処すること。
• ソフトウェアプロセスシミュレーション（SPS）が、学生がプロセスの影響を理解するのを助けるかどうかを調査すること。
• 証拠に基づく推論（EBR）フレームワークが、プロセス選択に関する主張の強度を評価するためにどの程度有効であるかを評価すること。
• 制御された実験ではなく、実際の授業環境でのSimSEの使用の実現可能性と影響を調査すること。
• 詳細な分析フレームワークを用いて、主張の質に関する形成的フィードバックを提供すること。

提案手法

• 大学院レベルの応用ソフトウェアプロジェクトマネジメント（ASPM）課程において、PedagogyとしてSimSE（ソフトウェアプロセスシミュレーションゲーム）を導入した。
• 授業の前半（プロジェクトマネジメント計画）と後半（フォローアップレビュー）の2回にわたり、学生が選択したプロセスモデルに関するレポートを収集した。
• 拡張された証拠に基づく推論（EBR）フレームワークを用いて主張の強度を評価し、前提、規則、証拠／データの各要素を分析した。
• EBR要素の完全性と論理的整合性に基づき、主張を「強い」「弱い」「妥当でない」に分類した。
• 2012年と2013年の授業年次間における主張の質の差を、カイ二乗検定（独立性の検定）を用いて比較した（χ² = 8.608, df = 2, p-value = 0.009）。
• 主張の構成要素に関する定性的分析を実施し、ギャップ（例：データ分析の欠落）を特定し、形成的フィードバックを提供した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェアプロセスシミュレーション（SimSE）の使用は、学生がソフトウェアプロセスモデル選択について、根拠に基づいた強い主張を構築する能力を向上させるか？
• RQ2 SimSE導入あり／なしの授業実施例において、プロセスモデル選択に関する主張の質にどのような差が生じるか？
• RQ3 EBRフレームワークは、ソフトウェアプロセス選択における学生の推論を評価し、フィードバックを提供するためにどの程度活用可能か？
• RQ4 実際の授業環境でEBRフレームワークを用いて学生の主張を評価するにあたり、どのような実務的課題が生じるか？

主な発見

• カイ二乗検定の結果、フォローアップレビューのレポートにおいて主張の質に統計的に有意な差が認められた（χ² = 8.608, df = 2, p-value = 0.009）。2013年の授業ではSimSE導入後、主張の強度が向上したことが示された。
• 2013年の学生は、2012年と比較して、終了時の個人レポートにおいてより多くの「強い主張」を示しており、SimSEの導入が理解度の向上に寄与した可能性が示唆された。
• 依然として、多くのレポートに弱いまたは妥当でない主張が見られ、特にデータ分析の欠落や証拠の不足が主な要因であった。
• EBRフレームワークは、特定の主張のギャップ（例：データの解釈不足）を的確に同定でき、的確な形成的フィードバックの提供に成功した。
• 2013年の全グループが軽量で人的要因を重視するプロセスモデル（例：Scrum）を選択したのに対し、2012年は大多数のグループが計画主導型のモデルを選択していた。これは、文脈理解の向上が図られたことを示している。
• EBRを用いた主張評価は時間的にコストが高く、1レポートあたり10～30分を要した。これは、単純な基準に基づく評価と比較して、コストの障壁が依然として高いことを示している。