[論文レビュー] A Motivation Model of Peer Assessment in Programming Language Learning

Yanqing Wang, Yaowen Liang+2 more|arXiv (Cornell University)|Jan 18, 2014

Student Assessment and Feedback参考文献 26被引用数 13

ひとこと要約

本論文では、プログラミング課程における同僚評価における非合意を検出するために、レビューのずれと極端化を用いた動機付けモデルを提案する。EduPCR4システムに実装されたこのモデルは、不一致が生じた際に教員の仲裁を引き起こすことで、評価の信頼性を向上させる。Cプログラミング課程での検証により、同僚評価の質と公平性が向上した。

ABSTRACT

Peer assessment is an efficient and effective learning assessment method that has been used widely in diverse fields in higher education. Despite its many benefits, a fundamental problem in peer assessment is that participants lack the motivation to assess others' work faithfully and fairly. Non-consensus is a common challenge that makes the reliability of peer assessment a primary concern in practices. This research proposes a motivation model that uses review deviation and radicalization to identify non-consensus in peer assessment. The proposed model is implemented as a software module in a peer code review system called EduPCR4. EduPCR4 is able to monitor this measure and trigger teacher's arbitration when it detects possible non-consensus. An empirical study conducted in a university-level C programming course showed that the proposed model and its implementation helped to improve the peer assessment practices in many aspects.

研究の動機と目的

• プログラミング課程における学生が公平かつ忠実に同僚評価を行う動機の欠如という問題に対処すること。
• 信頼性に影響を及ぼす主要な課題である同僚評価における非合意を特定すること。
• 評価行動を監視し、必要に応じて教員の干渉を引き起こすモデルを開発すること。
• 一貫性のない評価の自動検出を通じて、同僚評価の質と公平性を向上させること。
• このモデルの有効性を現実の大学レベルのプログラミング課程で検証すること。

提案手法

• このモデルは、学生の評価と、同じ作品の平均評価との差を定量化するレビューのずれを用いる。
• 極端化は、複数回の同僚評価において、学生の評価が平均からどれほど逸脱しているかを測定する。
• これらの指標は、EduPCR4同僚コードレビュー・システム内でリアルタイムに計算される。
• レビューのずれまたは極端化が事前に定義されたしきい値を超えると、システムはその評価を教員の仲裁対象としてマークする。
• システムは評価パターンをログ記録し、非合意が検出された際に教員が干渉できるようにする。
• このモデルはEduPCR4内のソフトウェアモジュールに統合されており、自動監視と干渉を可能にする。

実験結果

リサーチクエスチョン

• RQ1 プログラミング言語学習における同僚評価の非合意は、どのように効果的に検出できるか？
• RQ2 公平または一貫性のない評価を行う学生を信頼性高く特定するための指標は何か？
• RQ3 非合意の自動検出は、同僚評価の質と公平性をどのように向上させるか？
• RQ4 これらの指標に基づく教員の仲裁は、評価の信頼性をどの程度向上させるか？
• RQ5 行動的ずれに基づく動機付けモデルは、同僚評価における学生の関与度を向上させることができるか？

主な発見

• このモデルは、同僚評価における非合意の事例を、レビューのずれと極端化の指標を用いて効果的に同定した。
• システムの自動検出機能により、一貫性のない評価が教員のレビュー対象としてマークされたため、信頼性の低い評価のリスクが低減された。
• Cプログラミング課程における実証的結果から、モデルの導入後に評価の質と公平性が向上したことが示された。
• システムが非合意の可能性を示唆した際、学生はより一貫性があり公平な評価を行う傾向が高まった。
• モデルのアラートに基づく教員の仲裁は、より信頼性の高い最終評価スコアをもたらした。
• EduPCR4へのモデルの統合は、現実の教育現場における実用的妥当性と有効性を示した。