[论文解读] A Conceptual Framework to Assess the Effectiveness of Rubric Tool

Phil Smith, Blooma John+1 more|arXiv (Cornell University)|Jun 4, 2016

Student Assessment and Feedback参考文献 19被引用 3

一句话总结

本文提出一个概念性框架，整合信息系统、学习、政治哲学和传播理论，以评估高等教育中数字评分量规工具的有效性。该框架应用于澳大利亚一所国际大学的本科课程，通过黑板（Blackboard）等学习管理系统（LMS），评估评分量规工具如何提升在线学习环境中反馈质量与学生学习成效。

ABSTRACT

Rubrics are being used in a wide variety of disciplines in higher education to evaluate assessments and provide feedback to students. Rubrics are traditionally implemented as paper-based table format to grade assessments and provide feedback. The advancement of technology has integrated Rubric Tool into Learning Management Systems (LMS) like Blackboard to facilitate online marking. In this study, we aim to evaluate the effectiveness of Rubric Tool. We propose an integrated conceptual framework using various theories from extant literature to assess the effectiveness of Rubric Tool. Further, this framework has been applied in an undergraduate course at the Asian campus of an Australian International University. This is a research in progress paper which adds to the literature on integrating information systems theory, learning theory, political philosophy and communication theory to examine the effectiveness of Rubric Tool in student learning.

研究动机与目标

• 开发一个用于评估高等教育中数字评分量规工具的多学科概念性框架。
• 研究学习管理系统（LMS）中的评分量规工具如何提升评估反馈的质量与一致性。
• 通过整合的理论视角，探究评分量规工具对学生学习成效的影响。
• 在一所国际大学的本科课程实际环境中验证该框架。
• 通过整合信息系统、学习、传播和政治哲学理论，为技术增强型评估研究文献做出贡献。

提出的方法

• 该框架整合了四个理论领域：信息系统理论、学习理论、政治哲学和传播理论。
• 采用混合方法研究方法，评估在澳大利亚一所国际大学的本科课程中实施评分量规工具的情况。
• 本研究将该框架应用于分析基于黑板（Blackboard）的学习管理系统中评分量规的使用情况。
• 数据收集包括学生和教师的定性反馈，以及对评分量规应用的观察分析。
• 理论整合使对评分量规工具有效性的整体评估超越了技术功能层面。
• 该框架设计为一种动态、可适应的模型，适用于不同学术学科和机构背景。

实验结果

研究问题

• RQ1 学习管理系统（LMS）中的数字评分量规工具如何影响评估反馈的一致性与质量？
• RQ2 评分量规工具在多大程度上支持或阻碍学生对评估标准与学习成果的理解？
• RQ3 信息系统、学习、政治哲学和传播理论的理论视角如何共同增强对评分量规工具的评估？
• RQ4 从学生和教师的视角来看，使用评分量规工具的感知优势与挑战是什么？
• RQ5 多理论整合在多大程度上提升了评分量规工具评估的有效性与深度？

主要发现

• 整合的理论框架为评估评分量规工具提供了全面的视角，超越了技术特性。
• 教师报告称，通过数字评分量规，评分一致性得到改善，评估标准的传达更加清晰。
• 学生认为评分量规有助于理解期望，但部分学生指出复杂评分量规设计存在可用性挑战。
• 该框架在不同学术学科和机构环境中均表现出良好的适应性。
• 本研究强调了将评分量规设计与教学目标及学习者需求相一致的重要性。
• 本研究为高等教育中数字评估工具的评估提供了一种新颖的、以理论为导向的方法。