[논문 리뷰] Use and evaluation of simulation for software process education: a case study

Nauman bin Ali, Michael Unterkalmsteiner|arXiv (Cornell University)|2023. 07. 24.

Software Engineering Techniques and Practices인용 수 4

한 줄 요약

이 연구는 석사급 프로젝트 관리 과정에서 소프트웨어 프로세스 시뮬레이션(SimSE)을 사용하여 학생들이 소프트웨어 개발 프로세스 모델을 선택하는 데 대한 정당성을 높이는 데 초점을 맞춘다. 확장된 증거 기반 추론(EBR) 프레임워크를 사용한 결과, 수강 후 평가에서 학생들의 주장 강도가 유의미하게 향상되었지만, 전통적 방법에 비해 평가가 시간이 더 오래 걸리는 것으로 나타났다.

ABSTRACT

Software Engineering is an applied discipline and concepts are difficult to grasp only at a theoretical level alone. In the context of a project management course, we introduced and evaluated the use of software process simulation (SPS) based games for improving students' understanding of software development processes. The effects of the intervention were measured by evaluating the students' arguments for choosing a particular development process. The arguments were assessed with the Evidence-Based Reasoning framework, which was extended to assess the strength of an argument. The results indicate that students generally have difficulty providing strong arguments for their choice of process models. Nevertheless, the assessment indicates that the intervention of the SPS game had a positive impact on the students' arguments. Even though the illustrated argument assessment approach can be used to provide formative feedback to students, its use is rather costly and cannot be considered a replacement for traditional assessments.

연구 동기 및 목표

• 프로젝트 관리 과정에서 학생들이 소프트웨어 프로세스 모델 선택을 정당화하는 데 어려움을 겪는 문제를 해결하기 위해.
• 소프트웨어 프로세스 시뮬레이션(SPS)이 학생들이 프로세스 영향을 이해하는 데 기여하는지 조사하기 위해.
• 증거 기반 추론(EBR) 프레임워크가 프로세스 선택을 위한 주장 강도 평가에 효과적인지 평가하기 위해.
• 통제 실험 대신 실제 강의 환경에서 SimSE의 사용 가능성과 영향을 탐색하기 위해.
• 세부 분석 프레임워크를 활용해 주장 품질에 대한 형성적 피드백을 제공하기 위해.

제안 방법

• 석사 수준의 응용 소프트웨어 프로젝트 관리(ASPM) 과정에서 교육적 개입으로 SimSE, 즉 소프트웨어 프로세스 시뮬레이션 게임을 구현함.
• 수업의 시작(프로젝트 관리 계획서)과 끝(사후 평가) 시점에 학생들이 선택한 프로세스 모델 보고서를 수집함.
• 확장된 증거 기반 추론(EBR) 프레임워크를 적용하여 주장 강도를 평가하고, 전제, 규칙, 증거/자료 등의 구성 요소를 분석함.
• EBR 구성 요소의 완전성과 논리적 일관성에 기반해 주장들을 강력함, 약함, 타당하지 않음으로 분류함.
• 2012년과 2013년 수업 연도 간의 주장 품질을 비교하기 위해 카이제곱 독립성 검정을 실시함.
• 형성적 피드백을 위해 주장 구성 요소의 질적 분석을 수행하여 빈도(예: 데이터 분석 누락)를 특정함.

실험 결과

연구 질문

• RQ1 소프트웨어 프로세스 시뮬레이션(SimSE)의 사용이 학생들이 소프트웨어 프로세스 모델 선택에 대한 강력하고 증거 기반의 주장을 구성하는 데 도움이 되는가?
• RQ2 SimSE 개입이 있는 수업과 없는 수업 간에 프로세스 모델 선택에 대한 주장 품질은 어떻게 다를까?
• RQ3 EBR 프레임워크는 학생들의 소프트웨어 프로세스 선택에 대한 추론을 평가하고 피드백을 제공하는 데 어느 정도 활용될 수 있는가?
• RQ4 실제 강의 환경에서 학생들의 주장 평가에 EBR 프레임워크를 사용할 때의 실용적 과제는 무엇인가?

주요 결과

• 카이제곱 검정 결과, 사후 평가 과제에서 주장 품질에 통계적으로 유의미한 차이가 있었음(χ² = 8.608, df = 2, p-value = 0.009), 이는 SimSE 사용 후 2013년에 주장 강도가 향상되었음을 시사함.
• 2013년 학생들은 2012년 대비 수강 후 개인 과제에서 더 높은 비율의 강력한 주장 보고서를 제출하여 SimSE의 영향으로 이해도 향상이 있었음을 시사함.
• 개선 조치에도 불구하고 대부분의 과제는 여전히 약하거나 타당하지 않은 주장이 포함되어 있었으며, 주로 데이터 분석 누락 또는 증거 부족으로 인함.
• EBR 프레임워크는 주장의 특정 격차(예: 데이터 해석 부족)를 성공적으로 식별하여 정확한 형성적 피드백 제공이 가능함.
• 2013년 모든 그룹은 경량형, 사람 중심의 프로세스 모델(예: 스크럼)을 선택한 반면, 2012년에는 대부분의 그룹이 계획 중심 모델을 선택하여 맥락 이해도 향상이 있었음.
• EBR를 활용한 주장 평가는 1건당 10~30분이 소요되어 단순한 척도 기반 평가에 비해 비용 장벽이 높다는 점이 드러남.