[論文レビュー] The Role of Mastery Learning in Intelligent Tutoring Systems: Principal Stratification on a Latent Variable

Adam Sales, John F. Pane|arXiv (Cornell University)|Jul 28, 2017

Intelligent Tutoring Systems and Adaptive Learning参考文献 40被引用数 3

ひとこと要約

本論文は、観察されない潜在的習得可能性に基づき、知能チューティングシステム（Cognitive Tutor Algebra I）における治療効果を推定するための、新しいベイジアン主構造モデルを提案する。項目反応理論（IRT）を統合することで、学生の習得可能性を潜在変数としてモデル化し、欠損データ、異なるセクションへの暴露のばらつき、測定誤差を考慮する。その結果、習得できていないセクションがあるにもかかわらず頻繁に進級させられる学生は、実際にはチューターからより大きな恩恵を受ける可能性があることが示され、システムが困難を抱える学習者を効果的に支援している可能性が示唆される。

ABSTRACT

Students in Algebra I classrooms typically learn at different rates and struggle at different points in the curriculum---a common challenge for math teachers. Cognitive Tutor Algebra I (CTA1), educational computer program, addresses such student heterogeneity via what they term "mastery learning," where students progress from one section of the curriculum to the next by demonstrating appropriate "mastery" at each stage. However, when students are unable to master a section's skills even after trying many problems, they are automatically promoted to the next section anyway. Does promotion without mastery impair the program's effectiveness? At least in certain domains, CTA1 was recently shown to improve student learning on average in a randomized effectiveness study. This paper uses student log data from that study in a continuous principal stratification model to estimate the relationship between students' potential mastery and the CTA1 treatment effect. In contrast to extant principal stratification applications, a student's propensity to master worked sections here is never directly observed. Consequently we embed an item-response model, which measures students' potential mastery, within the larger principal stratification model. We find that the tutor may, in fact, be more effective for students who are more frequently promoted (despite unsuccessfully completing sections of the material). However, since these students are distinctive in their educational strength (as well as in other respects), it remains unclear whether this enhanced effectiveness can be directly attributed to aspects of the mastery learning program.

研究の動機と目的

• 観察されない習得状態と測定誤差が存在する状況において、知能チューティングシステムにおける治療効果を推定する課題に対処すること。
• 項目反応理論（IRT）を用いて、学生の習得可能性を潜在変数としてモデル化し、セクションへの暴露のばらつきと不完全なデータを考慮すること。
• 主構造分析を、観察されない中間変数を扱えるように拡張し、因果フレームワーク内に測定モデルを統合すること。
• 習得していないにもかかわらず頻繁に進級させられる学生（「ホイールスピンニング」学生）は、治療効果が低下するのか、それとも的確な支援によりより大きな恩恵を受けるのかを評価すること。
• 鍵となる中間変数が潜在的で、測定誤差を伴う教育的介入における因果推論のためのフレームワークを提供すること。

提案手法

• 本研究では、潜在的習得状態に基づく治療効果の異質性を推定するため、連続的ベイジアン主構造モデルを採用する。
• ラシュモデル（IRTの一種）を用いて、学生のログデータから潜在的習得可能性（η_T）を推定し、どのセクションが試行されたか、およびそのパフォーマンスを考慮する。
• IRTモデルを主構造分析フレームワーク内に統合し、習得可能性と治療効果の同時推定を可能にする。
• 欠損データとセクションへの暴露の不均一性を、項目反応理論を用いて学生間で標準化された習得度を算出することで対処する。
• 個々の学生の習得可能性と治療反応の差をモデル化するため、階層的事前分布構造を用い、学生間での部分的プールを可能にする。
• 事前分布の明確な指定と、モデル妥当性の検証に後方予測チェックを用いることで、モデルの同定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 観察されない状況下でも、学生のコンテンツセクション習得の潜在的可能性に応じて、Cognitive Tutor Algebra Iシステムの有効性は変化するか？
• RQ2 習得できていないセクションがあるにもかかわらず頻繁に進級させられる学生（すなわち、「ホイールスピンニング」学生）は、チューターの恩恵を受ける可能性が低いのか、それともより大きな恩恵を受けるのか？
• RQ3 IRTを用いて潜在的習得変数を組み込むことで、観察された中間変数を用いた従来の主構造分析と比較して、因果推論がどの程度改善されるか？
• RQ4 潜在的習得可能性に基づくストラタに分けた場合、治療効果のばらつきはどの程度であり、そのばらつきは学生の能力に起因するのか、それともプログラム設計に起因するのか？
• RQ5 IRTと主構造分析を統合した共同モデリングフレームワークは、治療効果の異質性のより正確で解釈可能な推定を可能にするか？

主な発見

• 習得できていないセクションがあるにもかかわらず頻繁に進級させられる学生（「ホイールスピンニング」度が高い）は、Cognitive Tutorからの治療効果が大きい傾向にあり、システムが困難を抱える学習者に対して特に効果的である可能性が示唆される。
• IRTによって推定された潜在的習得可能性は、セクションへの暴露や選択バイアスを考慮しない観察された指標（平均習得率 x̄m）よりも、学生の能力をより信頼性があり洗練された方法で測定する。
• IRTを主構造分析に統合することで、中間変数（習得）が観察されず測定誤差を伴う状況下でも、有効な因果推論が可能になる。
• 習得していない状態での進級が、チューターの有効性を損なう証拠は見つからず、むしろそのような学生がより大きな恩恵を受ける可能性があるというデータが示唆されている。
• モデルチェックと感度分析により、結果の頑健性が裏付けられており、モデルの誤指定や極端な外れ値によって結果が左右されていないことが示された。
• 本研究では、潜在変数を用いた主構造分析が教育研究において実現可能で価値があることが示された。特に、鍵となる中間変数が観察されず、不完全に測定される状況において顕著である。