[論文レビュー] New Metrics for Learning Evaluation in Digital Education Platforms

Gabriel Leitão, Juan G. Colonna+3 more|arXiv (Cornell University)|Jun 25, 2020

Online Learning and Analytics被引用数 5

ひとこと要約

本論文は、正誤スコアにとどまらない、反応行動、自信、作業時間、認知的負荷を組み込んだ、デジタル教育プラットフォーム向けの新しい学習評価指標のセットを提案する。高校の評価テストに適用したところ、特に保証度（Assurance Degree）や質問理解度（Questionnaire Comprehension Level）といった複合指標が、理解不足と自信のなさを示す生徒を効果的に特定し、的確な支援策を講じることが可能になった。

ABSTRACT

Technology applied in education can provide great benefits and overcome challenges by facilitating access to learning objects anywhere and anytime. However, technology alone is not enough, since it requires suitable planning and learning methodologies. Using technology can be problematic, especially in determining whether learning has occurred or not. Futhermore, if learning has not occured, technology can make it difficult to determine how to mitigate this lack of learning. This paper presents a set of new metrics for measuring student's acquired understanding of a content in technology-based education platforms. Some metrics were taken from the literature "as is", some were modified slighty, while others were added. The hypothesis is that we should not only focus on traditional scoring, because it only counts the number of hits/errors and does not consider any other aspect of learning. We applied all metrics to an assessment conducted in a high school class in which we show specific cases, along with metrics, where very useful information can be obtained from by combining several metrics. We conclude that the proposed metrics are promising for measuring student's acquired understanding of a content, as well as for teachers to measure student's weaknesses.

研究の動機と目的

• 単に正解／不正解に依存する伝統的な評価手法の限界を是正し、生徒の理解度、自信、認知的努力を捉えられない点を是正すること。
• 技術支援型学習環境において、疑念、反応時間、保証度といった、より深い学びの次元を反映する新しい指標を開発・実装すること。
• 生徒の反応パターンからのデータドリブンなイン사이트を活用し、教師がリスクの高い生徒を特定し、補習の対象となる単元を優先順位付けできること。
• 行動的および認知的指標を学習分析に統合することで、フォーマティブおよびsummative評価を改善し、より良いフィードバックと介入戦略を可能にすること。

提案手法

• 生徒の相互作用データに基づいて導出される5つの独立指標（重み付きスコア（WS）、質問の疑念（QD）、保証度（AD）、生徒の反応時間（SRT）、不秩序度（D））を提案・実装する。
• 2つの複合指標を構築：質問理解度（QCL）は、問題の難易度、反応時間、正答率に基づく。質問帳理解度（QuCL）は、QCLとADを統合する。
• レビュー対象の単元を順位付けするための「優先度（P）」指標を導入する。
• ブラジルの高校で実施された40問の選択式テストに、33名の10年生を対象に実装する。
• ADとQuCLを用いたクラスタリングにより、生徒を4つのパフォーマンスの象限に分類し、3番目の象限は低理解・低自信を示す。
• プラットフォームがリアルタイムでログ記録できるデータ（回答の変更履歴、1問あたりの所要時間、予想時間と実際の時間の差）を活用し、指標を計算する。

実験結果

リサーチクエスチョン

• RQ1 反応行動と自信を組み込んだ学習評価指標は、従来のスコアにとどまらず、生徒の理解度をよりよく検出できるか？
• RQ2 質問の疑念（Question Doubt）、保証度（Assurance Degree）、反応時間といった指標は、正誤の有無では捉えきれない、隠れた学習上の困難をどのように明らかにするか？
• RQ3 質問帳理解度（Questionnaire Comprehension Level）や優先度（Priority）といった複合指標は、支援が必要な生徒を特定し、単元の優先順位付けをどの程度効果的に可能にするか？
• RQ4 保証度（AD）と質問帳理解度（QuCL）に基づく生徒のクラスタリングは、個別対応の教育戦略を立案するための明確な学習プロファイルを明らかにできるか？

主な発見

• 重み付きスコア（WS）指標は、誤答であったが部分的な理解を示す生徒を特定し、従来のスコアに比べて学習状態をより洗練された視点で把握できた。
• ADとQuCLのクラスタリングにおける3番目の象限（低理解・低自信）に属する生徒は、全指標で劣悪な成績を示しており、的確な支援の必要性が極めて高いことが示された。
• 質問の疑念（QD）指標は、回答の頻繁な変更が低自信と高い認知的負荷と関連していることを明らかにした。特に難易度の高い問題で顕著であった。
• 生徒の反応時間（SRT）分析から、長時間の反応時間が、特に難易度の高い問題において、低理解度と高い混乱度と強く関連していることが判明した。
• 優先度（P）指標は、生徒の成績と自信レベルに基づき、単元を効果的に順位付けでき、教師が最も重要な分野に集中して復習できるように支援した。
• QuCL指標はADと組み合わせることで、リスクの高い生徒を効果的に同定する強力な手法となり、全体の15％の生徒が低理解／低自信のカテゴリーに分類され、直ちに支援が必要な状態であることが判明した。