[논문 리뷰] Monitoring Student Activity in Collaborative Software Development

Daniel Dietsch, Andreas Podelski외 3명|arXiv (Cornell University)|2013. 05. 03.

Educational Games and Gamification참고 문헌 23인용 수 5

한 줄 요약

이 논문은 소프트웨어 개발 과정에서의 학생의 참여도와 협업 상태를 모니터링하기 위해 데이터 기반 접근법을 제안한다. 버전 관리, 위키, 메일 리스트, 회의 기록 등의 디지털 트레이스를 분석함으로써, 두 학기 동안 106명의 2학년 학생이 20개의 그룹을 이뤄 구성한 과정에서 수집한 데이터를 활용하여 저조한 참여도와 비효율적 협업을 탐지할 수 있는 실질적인 지표를 규명하였다. 이를 통해 강사들이 사전에 개입할 수 있도록 지원한다.

ABSTRACT

This paper presents data analysis from a course on Software Engineering in an effort to identify metrics and techniques that would allow instructor to act proactively and identify patterns of low engagement and inefficient peer collaboration. Over the last two terms, 106 students in their second year of studies formed 20 groups and worked collaboratively to develop video games. Throughout the lab, students have to use a variety of tools for managing and developing their projects, such as software version control, static analysis tools, wikis, mailing lists, etc. The students are also supported by weekly meetings with teaching assistants and instructors regarding group progress, code quality, and management issues. Through these meetings and their interactions with the software tools, students leave a detailed trace of data related to their individual engagement and their collaboration behavior in their groups. The paper provides discussion on the different source of data that can be monitored, and present preliminary results on how these data can be used to analyze students' activity.

연구 동기 및 목표

• 팀 기반 소프트웨어 개발 과정에서 학생의 참여도와 협업 품질을 측정 가능한 지표로 식별하기.
• 버전 관리, 위키, 메일 리스트, 회의 기록에서 유도된 디지털 트레이스를 분석하여 저조한 참여도와 비효율적 협업 패턴을 탐지하기.
• 데이터 분석을 통한 실질적인 통찰을 제공하여 협업 학습 환경에서의 시기적절한 개입을 지원하기.
• 도구에서 생성된 데이터가 학생의 활동과 그룹 역학을 대체로 측정할 수 있는지의 타당성을 평가하기.

제안 방법

• 소프트웨어 공학 과정에서 사용된 다양한 도구에서 유도된 디지털 트레이스 데이터를 수집함: 버전 관리 시스템, 위키, 메일 리스트, 회의 기록.
• 개별 학생과 그룹 수준에서 커밋 빈도, 파일 변경 수, 위키 편집 수, 메시지 참여도 등의 활동 지표를 집계하고 정규화함.
• 도구 기반 활동 지표와 강사의 관찰 및 매주 진행되는 수업 조교 회의에서의 피드백 간 상관관계 분석.
• 통계적 분석을 적용하여 그룹 간 저조한 참여도 및 비효율적 협업 패턴의 군집을 식별함.
• 수업 조교의 질적 피드백을 활용하여 도구 데이터에서 유도된 정량적 결과를 검증하고 맥락화함.

실험 결과

연구 질문

• RQ1 소프트웨어 개발 도구에서 유도된 어떤 디지털 트레이스 지표가 협업 소프트웨어 프로젝트에서의 학생 참여도를 신뢰성 있게 나타내는가?
• RQ2 도구 사용 패턴은 관찰된 협업 품질과 그룹 성과 수준과 어떻게 관련이 있는가?
• RQ3 자동화된 도구 생성 데이터 분석을 통해 저조한 참여도를 조기에 탐지할 수 있는가?
• RQ4 수업 조교 회의는 디지털 트레이스 데이터의 검증과 해석에 어떤 역할을 하는가?

주요 결과

• 커밋 수가 적고 위키 편집 빈도가 낮은 학생들은 수업 조교 리뷰에서 저조한 참여도로 분류될 가능성이 높았다.
• 멤버 간 기여도 분포가 불균형한 그룹은 협업 비효율성이 높고 더 많은 강사 개입이 필요로 했다.
• 메일 리스트 활동은 그룹 커뮤니케이션 품질의 강력한 예측 지표였으며, 참여도가 낮은 경우 좌절된 협업과 문제 해결 지연과 관련이 있었다.
• 버전 관리와 위키 데이터의 조합은 단일 도구의 데이터만을 사용할 때보다 개인 및 그룹 활동의 포괄적인 그림을 제공하였다.