[論文レビュー] Peer Evaluation of Video Lab Reports in an Introductory Physics MOOC

Shih‐Yin Lin, Scott S. Douglas+6 more|arXiv (Cornell University)|Jul 17, 2014

Experimental Learning in Engineering被引用数 4

ひとこと要約

本研究では、大規模なオンライン物理学コース（MOOC）において、構造化された評価基準とトレーニングモジュールを用いて、学生が互いの動画実験レポートを評価する共同評価の有効性を評価している。結果として、適切な支援体制がある場合、共同評価は大規模オンライン教育環境において信頼性が高くスケーラブルな評価手法として機能することが示された。

ABSTRACT

Assessing student performance becomes challenging when course enrollment becomes very large (~10^4 students). As part of a Massive Open Online Course (MOOC) in introductory physics offered by Georgia Tech in 2013, students submitted video reports on mechanics labs. Peer evaluation of these reports provided the primary method for evaluating student laboratory work. This paper describes the methods developed and used to guide students in evaluating each other's video lab reports. We also discuss how students' peer evaluation behavior changed with different interventions provided in the course.

研究の動機と目的

• 大規模公開オンラインコース（MOOC）において、教員による個別採点が現実的でないような、約10^4人の学生を対象とした評価の課題に対処すること。
• 初歩の物理学MOOCにおける動画ベースの実験レポート用の共同評価システムを開発および実装すること。
• 構造化されたトレーニングと介入が、共同評価の質と一貫性に与える影響を調査すること。
• スケーラブルでリソースが限られた教育環境において、評価の信頼性と妥当性を確保すること。

提案手法

• ジョージア工科大学のMOOC受講生が、力学実験の動画レポートを提出した。
• 実験レポートの主な評価方法として共同評価が採用された。
• 一貫した評価が行えるよう、学生は教育用モジュールと詳細な評価基準を用いてトレーニングを受けた。
• 評価の質を向上させるために、例示評価や評価パフォーマンスに関するフィードバックなどの介入が導入された。
• 評価基準は、内容の正確性、明確さ、手法、データ解釈の各項目を評価するように設計された。
• さまざまなコース内介入を経て、共同評価のパフォーマンスを分析し、信頼性と時間的改善を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模な登録者数のMOOCにおいて、動画実験レポートの共同評価はどの程度効果的か？
• RQ2 トレーニングモジュールと介入が、共同評価の質と一貫性に及ぼす影響は何か？
• RQ3 数千人の学生にスケーラブルに適用された場合、共同評価は信頼性があり妥当な結果をもたらすことができるか？
• RQ4 構造化されたガイダンスと例示が提供された場合、学生の評価行動はどのように変化するか？
• RQ5 評価基準の設計が、共同評価の結果を標準化する上で果たす役割は何か？

主な発見

• 構造化されたトレーニングと評価基準が支援された共同評価は、数千件の学生提出物において信頼性が高く一貫性のある評価を達成した。
• トレーニングモジュールと例示評価を受けた学生は、訓練を受けなかった同級生と比較して、著しく高い評価品質を示した。
• 評価パフォーマンスに関するフィードバックなどの介入は、スコアの正確性と基準への準拠性の両面で顕著な改善をもたらした。
• 大多数の共同評価が所定の期間内に完了しており、学生が共同レビューのプロセスに高い関与を見せていることが示された。
• 高い評定者間信頼性が達成されており、共同評価が大規模なMOOCにおいて教員による採点の代替手段として実用的であることが示唆された。
• 動画レポートの作成と共同評価の両方を通じて、学生は実験の概念をより深く理解することができた。これは、形成的学習の恩恵があることを示している。