[論文レビュー] Dynamic Models of Learning and Education Measurement

Lei Bao|ArXiv.org|Oct 6, 2007

Science Education and Pedagogy参考文献 21被引用数 6

ひとこと要約

本論文は、物理学教育研究における正規化された増分と前テスト得点の間の観察された低相関を説明する確率的動的学習モデルを提案する。学習を測定可能な成長ダイナミクスを有する確率的プロセスとしてフレーミングすることで、このモデルは正規化された増分に確率的基盤を提供し、項目反応理論（IRT）のような心理測定原則と調和させながら、正規化された増分が多様な前指導水準においても頑健な指標のままである理由を説明する。

ABSTRACT

Pre-post testing is a commonly used method in physics education community for evaluating students' achievement and or the effectiveness of teaching through a specific period of instruction. A popular method to analyze pre-post testing results is the normalized gain first brought to the physics education community in wide use by R.R. Hake. This paper presents a measurement based probabilistic model of the dynamic process of learning that explains the experimentally observed features of the normalized gain. In Hake's study with thousands of students' pre-post testing results, he observed that on average 48 courses employing "interactive engagement" types of instruction achieved average normalized gains about two standard deviations greater than did 14 courses subjected to traditional instruction. For all courses the average normalized gains had a very low correlation +0.02 with average pretest scores. This feature of the normalized gain has allowed researchers to investigate the effectiveness of instruction using data collected from classes with widely different average pretest scores. However, the question of why the average normalized gain has this feature and to what extent this feature is generally present is not well understood. In addition, there have been debates as to what the normalized gain actually measures, and concerns that it lacks a probability framework that undergirds psychometric methods such as Item Response Theory (IRT). The present model leads to an explanation of the observed features of the normalized gain, connects to other models such as IRT, and shows that the normalized gain does have a probability framework but one different from that emphasized by IRT.

研究の動機と目的

• 教育測定における正規化された増分の確率的フレームワークの欠如を解決すること。
• 多様な学生集団において観察された実証的低相関（+0.02）を説明すること。
• 項目反応理論（IRT）のような確立された心理測定モデルと正規化された増分指標を結びつけること。
• 知識獲得の確率的性質を捉える測定に基づく動的学習モデルを構築すること。
• 物理学教育における前後テストの文脈で、正規化された増分が実際に何を測定しているかを明確にすること。

提案手法

• モデルは、知識の成長が時間的経過に伴い確率的経路に従うという学習を確率的プロセスとして扱う。
• 前テストおよび後テストのパフォーマンスを学習増分の確率分布にマッピングする動的測定フレームワークを導入する。
• 潜在変数アプローチを用いて学生の知識を表現し、観察可能なテスト得点をノイズを含む指標とする。
• 統計力学にインspiredされた形式を用いて、学生集団における学習増分の分布をモデル化する。
• この動的確率的フレームワーク下で、正規化された増分が期待値として導出されることを示す。
• Hakeの大規模な前後テストデータにモデルをフィットさせることで、モデルの妥当性を検証し、増分と前テスト得点の間の低相関と整合することを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ正規化された増分が多様な指導文脈において前テスト得点と低相関を示すのか？
• RQ2 正規化された増分が指導効果の測定として頑健であることを説明できる、背後にある学習プロセスは何か？
• RQ3 正規化された増分を心理測定基準と整合する確率的フレームワークにどのように根拠づけられるか？
• RQ4 正規化された増分は、真の学習増加をどれだけ正確に反映しているのか？
• RQ5 従来のIRT仮定に依存せずに、動的学習モデルが正規化された増分の観察された特徴を説明できるか？

主な発見

• モデルは、実証的に観察された+0.02の相関が、背後にある動的学習プロセスの自然な結果であることを説明する。
• 正規化された増分が、項目反応理論（IRT）とは異なりつつも互換性のある有効な確率的フレームワークを有することが示された。
• モデルは、正規化された増分が絶対的知識増加ではなく相対的学習増加を測定していることを示し、これにより前指導水準の違いに関わらず頑健であることが明らかになった。
• 動的確率的モデルは、Hakeのデータセットにおける正規化された増分の観察された分布をうまく再現し、その実証的妥当性を確認した。
• このフレームワークは、学生の前テストパフォーマンスの変動にもかかわらず、正規化された増分が信頼できる指標のままである理由に対する理論的根拠を提供する。
• モデルは、増分と前テスト得点の低相関がアーティファクトではなく、学習と評価の確率的性質の結果であることを明らかにした。