[論文レビュー] Monitoring Student Activity in Collaborative Software Development

Daniel Dietsch, Andreas Podelski+3 more|arXiv (Cornell University)|May 3, 2013

Educational Games and Gamification参考文献 23被引用数 5

ひとこと要約

本論文は、バージョン管理、ウィキ、メーリングリスト、会議記録からのデジタルトレースを分析することで、共同ソフトウェア開発授業における学生の関与状況と協働状況をデータ駆動でモニタリングする手法を提案する。2学期間にわたり20のグループを形成した106名の2年次学生のデータを用いた研究により、低関与や非効率的協働を検出するための実行可能な指標を同定し、教員が事前に干渉できるようにする。

ABSTRACT

This paper presents data analysis from a course on Software Engineering in an effort to identify metrics and techniques that would allow instructor to act proactively and identify patterns of low engagement and inefficient peer collaboration. Over the last two terms, 106 students in their second year of studies formed 20 groups and worked collaboratively to develop video games. Throughout the lab, students have to use a variety of tools for managing and developing their projects, such as software version control, static analysis tools, wikis, mailing lists, etc. The students are also supported by weekly meetings with teaching assistants and instructors regarding group progress, code quality, and management issues. Through these meetings and their interactions with the software tools, students leave a detailed trace of data related to their individual engagement and their collaboration behavior in their groups. The paper provides discussion on the different source of data that can be monitored, and present preliminary results on how these data can be used to analyze students' activity.

研究の動機と目的

• チームベースのソフトウェア開発授業における学生の関与状況と協働品質の測定可能な指標を特定すること。
• バージョン管理、ウィキ、メーリングリスト、会議記録からのデジタルトレースを分析し、低関与や非効率的協働のパターンを同定すること。
• データ分析を通じて教員に実行可能なイン사이트を提供し、協働学習環境における適切なタイミングでの干渉を可能にすること。
• ツール生成データを学生の活動およびグループダイナミクスの代理指標として使用する可能性を評価すること。

提案手法

• ソフトウェア工学の授業で使用された複数のツール（バージョン管理システム、ウィキ、メーリングリスト、会議ログ）からのデジタルトレースデータを収集すること。
• 個々の学生およびグループごとの活動メトリクス（コミット頻度、ファイル変更数、ウィキ編集数、メッセージ参加数）を集約・正規化すること。
• ツールベースの活動メトリクスと教員の観察、週次TAミーティングでのフィードバックを相関させること。
• 統計的分析を用いて、複数のグループにわたる低関与や非効率的協働のパターンを特定すること。
• TAからの定性的フィードバックを活用し、ツールデータからの定量的発見を検証および文脈づけること。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア開発ツールからのどのデジタルトレースメトリクスが、共同ソフトウェアプロジェクトにおける学生の関与状況を信頼性高く示すか？
• RQ2 ツール使用のパターンは、観察された協働品質およびグループパフォーマンスの水準とどのように相関するか？
• RQ3 ツール生成データの自動分析を用いて、低関与の早期検出が可能か？
• RQ4 TAミーティングは、デジタルトレースデータの検証および解釈においてどのような役割を果たすか？

主な発見

• コミット数が少なく、ウィキ編集頻度が低い学生は、TAレビューで低関与の対象としてマークされる可能性が高かった。
• メンバー間での貢献の分配に偏りがあるグループは、協働の非効率性の割合が高く、教員による干渉がより多く必要になった。
• メーリングリストの活動は、グループのコミュニケーション品質の強力な予測要因であり、参加度が低いと調整不良や問題解決の遅延と関連した。
• バージョン管理とウィキのデータを組み合わせることで、単一のツールに比べて、個人およびグループの活動状況をより包括的に把握できるようになった。