[論文レビュー] Mastery Learning in Practice: A (Mostly) Descriptive Analysis of Log Data from the Cognitive Tutor Algebra I Effectiveness Trial

Anita Israni, Adam Sales+1 more|arXiv (Cornell University)|Feb 23, 2018

Intelligent Tutoring Systems and Adaptive Learning参考文献 8被引用数 4

ひとこと要約

本研究は、認知チューター代数I（CTAI）プログラムの大規模な無作為化比較試験のログデータを分析し、実際の教育現場における熟達学習の実施状況を検討する。CTAIは熟達基準に基づく進行を設計しているが、実際には生徒が内容を習得せずに進級していることが頻繁に発生した—主に教師による再割り当て、問題の枯渇、早期退室によって。特に2年目には、プログラムの有効性が向上したが、その一方でこのような進級が顕著になった。再割り当ては、後テスト得点が低いと関連していたことから、熟達学習がCTAIの成功の鍵となるメカニズムである可能性があるが、教室間での影響は大きくばらついていた。

ABSTRACT

Mastery learning, the notion that students learn best if they move on from studying a topic only after having demonstrated mastery, sits at the foundation of the theory of intelligent tutoring. This paper is an exploration of how mastery learning plays out in practice, based on log data from a large randomized effectiveness trial of the Cognitive Tutor Algebra I (CTAI) curriculum. We find that students frequently progressed from CTAI sections they were working on without demonstrating mastery and worked units out of order. Moreover, these behaviors were substantially more common in the second year of the study, in which the CTAI effect was significantly larger. We explore the various ways students departed from the official CTAI curriculum, focusing on heterogeneity between years, states, schools, and students. The paper concludes with an observational study of the effect on post-test scores of teachers reassigning students out of their current sections before they mastered the requisite skills, finding that reassignment appears to lowers posttest scores--a finding that is fairly resilient to confounding from omitted covariates--but that the effect varies substantially between classrooms.

研究の動機と目的

• 認知チューター代数I（CTAI）プログラムにおいて、学校や教師が熟達学習モデルにどの程度準拠しているかを調査すること。
• 再割り当てや順序を逸脱した単元の進行といった、標準CTAIカリキュラムからの逸脱のパターンとその動機を理解すること。
• 教師による再割り当てが、潜在的な交絡要因を調整した上で学生の後テスト成績に与える影響を評価すること。
• 州や年次にわたる使用パターン、カリキュラムカスタマイズ、および処置効果との関係を調査すること。
• 観察された実装のばらつきを踏まえて、熟達学習がCTAIの有効性の背後にある主要なメカニズムであるかどうかを特定すること。

提案手法

• CTAIの7州にわたる無作為化比較試験のログデータを用い、学生のソフトウェアとの相互作用、すなわち所要時間、完了したセクション、熟達状態を追跡した。
• 小規模な教室サンプルサイズを考慮した、教室ごとの再割り当ての効果を推定するための多層モデルを適用した。
• 主な集団戦略と観察的分析を用いて、再割り当て、熟達、および後テスト成績との関係を検討した。
• 州、学校、生徒グループごとの使用パターン、熟達率、再割り当て頻度を年次で比較した。
• 単元順序とセクション完了状況のデータを用いて、カリキュラムカスタマイズと順序の逸脱を分析し、標準カリキュラムとカスタマイズ済みカリキュラムを区別した。
• 記述統計と推論統計を用いて、文脈ごとの使用強度、熟達率、再割り当てのタイミングのばらつきを評価した。

実験結果

リサーチクエスチョン

• RQ1 生徒が熟達を示さずにCTAIのセクションを進める割合はどの程度で、その背後にあるメカニズムは何か？
• RQ2 教師による再割り当ての実施状況は、州、学校、教室ごとにどのように異なるのか。その動機は何か？
• RQ3 再割り当てと学生の後テスト成績の関係は何か。この影響は教室の文脈によって変化するか？
• RQ4 使用頻度が低下し、標準カリキュラムへの準拠率も下がっているにもかかわらず、なぜCTAIの有効性は2年目に向上したのか？
• RQ5 熟達学習はCTAIの有効性の中心的メカニズムであるのか。それとも、柔軟で熟達に基づかない実践がその成功に寄与しているのか？

主な発見

• 生徒は頻繁に熟達を示さずにCTAIのセクションを進んでおり、完了したセクションで熟達に到達した割合は、1年目が85%、2年目が81%であった。
• 教師による再割り当てが、熟達を経ずに進級を可能にする一般的なメカニズムであり、2年目およびテキサス州やコネチキュット州で特に顕著であった。
• 再割り当ては、同級生と比較して後テスト得点が低くなると関連していたが、教室ごとの影響は大きくばらついており、推定された教室レベルの効果の標準偏差は0.18であった。
• 2年目は使用頻度が低く、標準カリキュラムへの準拠率も低下したにもかかわらず、CTAIの後テスト得点への影響は1年目よりも顕著に大きかった。これは、柔軟性が有効性を高める要因である可能性を示唆している。
• より高度なカリキュラム単元では熟達率が低く、内容の複雑さが高くなると熟達が達成しにくくなる傾向が見られた。
• 再割り当ては主にカリキュラムの進行を前進させるために用いられたが、州のテストスケジュールに合わせて行う場合や、全クラスの進行を再編成する目的でも発生していた。