[论文解读] Monitoring Student Activity in Collaborative Software Development

Daniel Dietsch, Andreas Podelski+3 more|arXiv (Cornell University)|May 3, 2013

Educational Games and Gamification参考文献 23被引用 5

一句话总结

本文提出一种数据驱动方法，通过分析版本控制、维基、邮件列表和会议记录等数字痕迹，监控协作式软件开发课程中的学生参与度与协作情况。基于106名二年级学生组成20个小组在两个学期中的数据，研究识别出可操作的指标，用于检测参与度低下和协作效率低下的问题，使教师能够主动干预。

ABSTRACT

This paper presents data analysis from a course on Software Engineering in an effort to identify metrics and techniques that would allow instructor to act proactively and identify patterns of low engagement and inefficient peer collaboration. Over the last two terms, 106 students in their second year of studies formed 20 groups and worked collaboratively to develop video games. Throughout the lab, students have to use a variety of tools for managing and developing their projects, such as software version control, static analysis tools, wikis, mailing lists, etc. The students are also supported by weekly meetings with teaching assistants and instructors regarding group progress, code quality, and management issues. Through these meetings and their interactions with the software tools, students leave a detailed trace of data related to their individual engagement and their collaboration behavior in their groups. The paper provides discussion on the different source of data that can be monitored, and present preliminary results on how these data can be used to analyze students' activity.

研究动机与目标

• 识别团队协作式软件开发课程中学生参与度与协作质量的可度量指标。
• 分析版本控制、维基、邮件列表和会议记录中的数字痕迹，以检测参与度低下和协作效率低下的模式。
• 通过数据分析为教师提供可操作的洞察，实现在协作学习环境中及时干预。
• 评估利用工具生成的数据作为学生行为与群体动态代理指标的可行性。

提出的方法

• 收集软件工程课程中使用的多种工具的数字痕迹数据，包括版本控制系统、维基、邮件列表和会议记录。
• 聚合并归一化活动指标，如提交频率、文件更改数、维基编辑次数和消息参与度，覆盖个体学生和小组。
• 将基于工具的活动指标与教师观察结果以及每周助教会议的反馈进行相关性分析。
• 应用统计分析，识别各组中参与度低下和协作效率低下的模式聚类。
• 利用助教的定性反馈验证并 contextualize（语境化）工具数据的定量发现。

实验结果

研究问题

• RQ1 哪些软件开发工具的数字痕迹指标能可靠地指示协作式软件项目中的学生参与度？
• RQ2 工具使用模式如何与观察到的协作质量水平和小组表现相关联？
• RQ3 能否通过自动化分析工具生成的数据实现低参与度的早期检测？
• RQ4 助教会议在验证和解释数字痕迹数据方面发挥什么作用？

主要发现

• 提交次数较少且维基编辑频率较低的学生，在助教评审中更可能被标记为参与度低下。
• 成员间贡献分布不均的小组表现出更高的协作效率低下率，并需要更多教师干预。
• 邮件列表活动是小组沟通质量的强预测指标，参与度低与协调不良及问题解决延迟相关。
• 版本控制与维基数据的结合提供了比单一工具更全面的个人与小组活动图景。