[论文解读] Exploring Peer Review in the Computer Science Classroom

Scott Turner, Manuel A. Pérez-Quiñones|ArXiv.org|Jul 20, 2009

Teaching and Learning Programming参考文献 113被引用 8

一句话总结

本研究探讨了两种不同的同行评审模式——结构化与开放式——对计算机科学专业学生概念理解、高阶思维能力及参与度的影响。结果表明，评审类型显著影响评论的质量、长度和概念聚焦程度，特别是在抽象、分解和封装等主题上，提示同行评审框架的设计选择对学习成果具有关键影响。

ABSTRACT

In computer science, students could benefit from more opportunities to learn important, high-level concepts and to improve their learning skills. Peer review is one method to encourage this by providing students with the opportunity to evaluate other people's work and to receive feedback on their own projects. This allows for rich learning experience but it is not immediately obvious how to create a programming project review that will improve the students' conceptual understanding, require higher level thinking, and be engaging. The current literature does not typically address differences between review implementations or provide reasons for design decisions. This work explored how two different types of reviews affected the students' learning of concepts, high-level thinking, and engagement. There were indications that the type of review affected how well students addressed the concept they were reviewing and the comments' length. This shows that the review's type may affect student engagement and conceptual learning. There were also differences in how they reviewed the concepts of Abstraction, Decomposition, and Encapsulation, suggesting that the concepts are being learned in different ways. Both of these results have an impact on the use of peer review computer science but need further investigation.

研究动机与目标

• 探讨不同同行评审格式如何影响学生对高级计算机科学概念的学习。
• 评估评审结构对学生高阶思维能力和参与度的影响。
• 研究不同评审类型如何影响学生对抽象、分解和封装等核心计算机科学概念的理解。
• 识别在计算机科学教育中实现有效同行评审的设计原则。
• 为同行评审模式在计算机科学教学法中的有效性提供实证证据。

提出的方法

• 实施了两种不同的同行评审模式：一种是带有引导性标准的结构化评审，另一种是指导极少的开放式评审。
• 学生参与了对编程项目的同行评审，既评估同伴的工作，也接收他人对自己提交作品的反馈。
• 收集的数据包括评审评论、学生反思以及通过评分量规评估的概念理解程度。
• 本研究采用定性与定量分析方法，比较两种评审类型在评论长度、深度和聚焦方面的差异。
• 分析重点在于学生在反馈中如何处理抽象、分解和封装等关键计算机科学概念。
• 研究采用多门计算机科学课程多个教学班的对比案例研究设计。

实验结果

研究问题

• RQ1 同行评审的结构在多大程度上影响学生在反馈中把握核心计算机科学概念的能力？
• RQ2 结构化与开放式同行评审对学生参与度和评论质量有何影响？
• RQ3 在评估抽象、分解和封装时，学生的评审在深度和聚焦方面有何差异？
• RQ4 评审格式在多大程度上影响学生高阶思维能力的发展？
• RQ5 同行评审设计中的哪些考虑因素能促进计算机科学中更有效的概念性学习？

主要发现

• 评审类型显著影响学生评论的长度与质量，其中结构化评审产生了更详细的反馈。
• 参与结构化评审的学生在与抽象和封装等目标概念的对齐方面表现更优。
• 学生在评审分解与封装时的差异表明，这些概念的学习与应用方式因评审格式而异。
• 有证据表明，结构化同行评审相比开放式格式，更有利于提升概念理解并促进高阶思维能力。
• 本研究发现，评审设计直接影响学生参与度与学习深度，尤其是在抽象的计算机科学概念方面。
• 结果表明，同行评审框架必须有意识地设计，以支持计算机科学教育中的特定学习成果。