[論文レビュー] A Conceptual Framework to Assess the Effectiveness of Rubric Tool

Phil Smith, Blooma John+1 more|arXiv (Cornell University)|Jun 4, 2016

Student Assessment and Feedback参考文献 19被引用数 3

ひとこと要約

本論文は、情報システム、学習、政治哲学、通信理論を統合した概念的枠組みを提唱し、高等教育におけるデジタルルーブリックツールの有効性を評価する。この枠組みは、オーストラリアの国際的大学における本科課程で応用され、Blackboard などの学習管理システム（LMS）を用いたオンライン学習環境において、ルーブリックツールがフィードバックの質と学生の学習成果にどのように寄与するかを評価する。

ABSTRACT

Rubrics are being used in a wide variety of disciplines in higher education to evaluate assessments and provide feedback to students. Rubrics are traditionally implemented as paper-based table format to grade assessments and provide feedback. The advancement of technology has integrated Rubric Tool into Learning Management Systems (LMS) like Blackboard to facilitate online marking. In this study, we aim to evaluate the effectiveness of Rubric Tool. We propose an integrated conceptual framework using various theories from extant literature to assess the effectiveness of Rubric Tool. Further, this framework has been applied in an undergraduate course at the Asian campus of an Australian International University. This is a research in progress paper which adds to the literature on integrating information systems theory, learning theory, political philosophy and communication theory to examine the effectiveness of Rubric Tool in student learning.

研究の動機と目的

• 高等教育におけるデジタルルーブリックツールの評価のための多分野的概念的枠組みを開発すること。
• 学習管理システム（LMS）におけるルーブリックツールが、評価のフィードバックの質と一貫性をどのように向上させるかを検討すること。
• 情報システム理論、学習理論、通信理論、政治哲学の理論的枠組みを統合し、ルーブリックツールが学生の学習成果に与える影響を調査すること。
• 国際的大学における実際の本科課程の環境で、この枠組みを検証すること。
• 情報システム、学習、通信、政治哲学の理論を統合することで、技術支援型評価に関する文献に貢献すること。

提案手法

• この枠組みは、情報システム理論、学習理論、政治哲学、通信理論の4つの理論的分野を統合している。
• オーストラリアの国際的大学における本科課程でのルーブリックツールの実装を評価するために、混合研究法を用いる。
• 研究は、Blackboard を基盤とする学習管理システム（LMS）におけるルーブリックの使用を分析するためにこの枠組みを適用する。
• データ収集には、学生および教員からの定性的フィードバックに加え、ルーブリックの適用に関する観察分析が含まれる。
• 理論的統合により、技術的機能を超えたルーブリックツールの有効性を包括的に評価できる。
• この枠組みは、多様な学問分野や教育機関の文脈に適応可能な動的な、柔軟なモデルとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 学習管理システム（LMS）におけるデジタルルーブリックツールは、評価フィードバックの一貫性と質にどのように影響するか？
• RQ2 ルーブリックツールは、学生が評価基準や学習成果を理解するのをどのように支援するか、あるいは妨げるか？
• RQ3 情報システム理論、学習理論、政治哲学、通信理論の理論的視点が、ルーブリックツールの評価をどのように統合的に高めるか？
• RQ4 学生および教員の視点から見た、ルーブリックツールの使用における認識された利点と課題は何か？
• RQ5 複数の理論の統合は、ルーブリックツールの評価の妥当性と深さをどの程度向上させるか？

主な発見

• 統合された理論的枠組みは、技術的特徴を超えたルーブリックツールの評価に包括的なレンズを提供する。
• 教員は、デジタルルーブリックを通じて採点の一貫性が向上し、評価基準の明確な伝達が可能になったと報告した。
• 学生は、期待される内容を理解するのにルーブリックが役立ったと感じたが、複雑なルーブリック設計では使いやすさに課題を感じたと述べた。
• この枠組みは、異なる学問分野や教育機関の文脈においても適応可能であることが示された。
• ルーブリックの設計を教育的目標と学習者のニーズに合わせることが重要であることが強調された。
• 本研究は、高等教育におけるデジタル評価ツールの評価に、理論を基盤とする革新的なアプローチを貢献した。