[论文解读] A Motivation Model of Peer Assessment in Programming Language Learning
本文提出一种基于评审偏差与极端化的动机模型，用于检测编程课程中同伴互评的非共识现象。该模型在EduPCR4系统中实现，通过在出现不一致时触发教师仲裁，提升了评估的可靠性。在C语言课程中的验证表明，该方法显著提高了同伴互评的质量与公平性。
Peer assessment is an efficient and effective learning assessment method that has been used widely in diverse fields in higher education. Despite its many benefits, a fundamental problem in peer assessment is that participants lack the motivation to assess others' work faithfully and fairly. Non-consensus is a common challenge that makes the reliability of peer assessment a primary concern in practices. This research proposes a motivation model that uses review deviation and radicalization to identify non-consensus in peer assessment. The proposed model is implemented as a software module in a peer code review system called EduPCR4. EduPCR4 is able to monitor this measure and trigger teacher's arbitration when it detects possible non-consensus. An empirical study conducted in a university-level C programming course showed that the proposed model and its implementation helped to improve the peer assessment practices in many aspects.
研究动机与目标
- 解决学生在编程课程中提供公平且忠实的同伴互评时缺乏动机的问题。
- 识别影响评估可靠性的主要挑战——同伴互评中的非共识现象。
- 开发一种监控评估行为并在必要时触发教师干预的模型。
- 通过自动检测不一致的评估，提升同伴互评的质量与公平性。
- 在真实大学级别编程课程中验证该模型的有效性。
提出的方法
- 该模型使用评审偏差来量化学生对同一作品的评估与该作品平均评估之间的差异。
- 极端化衡量学生在多次同伴互评中其评估与常态的偏离程度。
- 这些指标在EduPCR4同伴代码评审系统中实时计算。
- 当评审偏差或极端化超过预设阈值时，系统将该评估标记为需教师仲裁。
- 系统记录评估模式，并在检测到非共识时允许教师介入。
- 该模型被集成到EduPCR4的软件模块中，实现自动监控与干预。
实验结果
研究问题
- RQ1如何在编程语言学习中有效检测同伴互评中的非共识？
- RQ2哪些指标能够可靠识别出评估不公平或不一致的学生？
- RQ3非共识的自动检测在多大程度上提升了同伴互评的质量与公平性？
- RQ4基于这些指标的教师仲裁在多大程度上提升了评估的可靠性？
- RQ5基于行为偏差的动机模型能否提升学生在同伴互评中的参与度？
主要发现
- 该模型通过评审偏差与极端化指标，成功识别出同伴互评中的非共识实例。
- 系统的自动检测机制通过将不一致的评估标记为需教师审查，降低了不可靠评估的风险。
- 在C语言课程中的实证结果表明，实施该模型后，评估质量与公平性均得到提升。
- 当系统提示可能存在非共识时，学生更有可能提供一致且公平的评估。
- 基于模型警报的教师仲裁导致了更可靠的最终评估分数。
- 该模型在EduPCR4中的集成证明了其在真实教育环境中的实际可行性与有效性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。