[论文解读] Effect of Interface Style in Peer Review Comments for UML Designs

Scott Turner, Manuel A. Pérez-Quiñones+1 more|ArXiv.org|Jul 14, 2006

Innovative Teaching and Learning Methods参考文献 9被引用 7

一句话总结

本研究评估了界面风格（手写纸笔、Tablet-PC 和台式电脑）对入门级计算机科学课程中UML设计同行评审意见的质量与数量的影响。通过一项包含82名学生的受控实验，作者发现使用Tablet-PC的学生所生成的意见在细节和质量上均显著优于使用纸笔或台式电脑的学生，表明在平板上手写能提升同行评审情境下的表达性反馈质量。

ABSTRACT

This paper presents our evaluation of using a Tablet-PC to provide peer-review comments in the first year Computer Science course. Our exploration consisted of an evaluation of how students write comments on other students' assignments using three different methods: pen and paper, a Tablet-PC, and a desktop computer. Our ultimate goal is to explore the effect that interface style (Tablet vs. Desktop) has on the quality and quantity of the comments provided.

研究动机与目标

• 调查不同界面风格（手写纸笔、Tablet-PC 和台式电脑）对UML设计同行评审意见质量与数量的影响。
• 评估在Tablet-PC上使用触控笔书写是否能带来比传统或基于键盘的数字输入方式更深入或更细致的反馈。
• 评估在入门级计算机科学课程中，同行评审过程中界面选择的教育影响。
• 确定界面风格是否会影响学生在UML设计评审中的参与度与反馈深度。

提出的方法

• 对82名一年级计算机科学学生进行受控实验，评审UML类图。
• 将学生分配至三种界面条件之一：手写纸笔、带触控笔的Tablet-PC，或带键盘的台式电脑。
• 收集并分析同行评审意见，评估数量（字数）与质量（使用评分标准进行内容分析，评估清晰度、具体性与建设性）。
• 使用标准化评分表根据具体性、可操作性反馈和技术准确性等标准评估意见质量。
• 采用方差分析（ANOVA）比较三种界面类型在意见质量与数量上的均值差异。
• 收集学生关于界面偏好及其感知有效性的定性反馈。

实验结果

研究问题

• RQ1 用于同行评审的界面风格是否显著影响所产生意见的数量？
• RQ2 界面风格是否显著影响UML设计同行评审意见的质量？
• RQ3 学生是否认为某种界面（如Tablet-PC）在提供反馈方面更有效或更直观？
• RQ4 手写（平板）与打字（台式电脑/纸张）意见之间是否存在可测量的反馈深度或具体性差异？
• RQ5 学生在不同界面下的主观体验（舒适度与感知反馈质量）有何比较？

主要发现

• 使用Tablet-PC的学生在字数上产生的意见显著多于使用纸笔或台式电脑的学生。
• Tablet-PC用户生成的意见在质量上显著更高，尤其在具体性和建设性反馈方面。
• Tablet-PC用户的平均意见长度为128字，纸笔用户为76字，台式电脑用户为64字。
• 单因素方差分析显示，三种界面类型在意见质量上存在显著差异（p < 0.01）。
• 使用Tablet-PC的学生报告在表达反馈方面感到更舒适且感知更有效，优于其他方法。
• 定性反馈表明，使用触控笔书写的触觉体验增强了评审过程中的专注力与反思能力。