[論文レビュー] Improved Performances and Motivation in Intelligent Tutoring Systems: Combining Machine Learning and Learner Choice

Benjamin Clément, Hélène Sauzeon+2 more|arXiv (Cornell University)|Jan 16, 2024

Online Learning and Analytics被引用数 2

ひとこと要約

本研究では、機械学習（マルチアームバンディット）と好奇心駆動型学習を組み合わせたAI駆動の適応型学習システムZPDESを提示する。このシステムは、知能チューティングシステムにおける演習の順序を最適化することを目的としている。結果として、ゲーム化された学習者選択機能が、固定カリキュラムとは異なり、適応的パーソナライゼーションと組み合わされた場合にのみ、内発的動機付けと学習効果を顕著に向上させることを示している。

ABSTRACT

Large class sizes challenge personalized learning in schools, prompting the use of educational technologies such as intelligent tutoring systems. To address this, we present an AI-driven personalization system, called ZPDES, based on the Learning Progress Hypothesis - modeling curiosity-driven learning - and multi-armed bandit techniques. It sequences exercises that maximize learning progress for each student. While previous studies demonstrated its efficacy in enhancing learning compared to hand-made curricula, its impact on student motivation remained unexplored. Furthermore, ZPDES previously lacked features allowing student choice, a limitation in agency that conflicts with its foundation on models of curiosity-driven learning. This study investigates how integrating choice, as a gamification element unrelated to exercise difficulty, affects both learning outcomes and motivation. We conducted an extensive field study (265 7-8 years old children, RCT design), comparing ZPDES with and without choice against a hand-designed curriculum. Results show that ZPDES improves both learning performance and the learning experience. Moreover adding choice to ZPDES enhances intrinsic motivation and further strengthens its learning benefits. In contrast, incorporating choice into a fixed, linear curriculum negatively impacts learning outcomes. These findings highlight that the intrinsic motivation elicited by choice (gamification) is beneficial only when paired with an adaptive personalized learning system. This insight is critical as gamified features become increasingly prevalent in educational technologies.

研究の動機と目的

• 知能チューティングシステム（ITS）における学習者選択をゲーム化機能として統合した場合、学習パフォーマンスと動機付けに与える影響を調査すること。
• 選択肢の利点が、根本的な学習システムの適応性に依存するかどうか、特に固定的で線形的なカリキュラムと比較して評価すること。
• 学習進捗仮説とマルチアームバンディットアルゴリズムに基づくZPDESが、学生の学習成果と内発的動機付けに与える影響を評価すること。
• 非適応的で手作業で設計されたカリキュラムに学習者選択を適用した場合、学習に好影響を及ぼすか、逆に悪影響を及ぼすかを特定すること。
• 教育AIシステムにおける内発的動機付け（選択によるもの）と適応的パーソナライゼーションの相乗効果に関する実証的証拠を提供すること。

提案手法

• ZPDESは、学習進捗仮説に基づき、期待される学習進捗を最大化するように演習を動的に選択するマルチアームバンディットアルゴリズムを用いる。
• システムは学習者の知識と好奇心駆動型の進行をモデル化し、近接発達領域内でのタスク選択により、関与度と学習効率を維持する。
• 学習者選択は、タスクの難易度とは無関係なゲーム化機能として実装され、利用可能な演習の中から選択可能である。
• 265名の小学校低学年（7〜8歳）を対象にした無作為化比較試験（RCT）により、4条件（手作業で設計された線形カリキュラム、ZPDESに選択機能なし、ZPDESに選択機能あり、対照群）を比較した。
• 学習パフォーマンスは、お釣りの取り扱いや計算スキルに関する前後テストで測定された。
• 動機付けは、内発的動機付けと自己決定性に焦点を当てたタイプの動機付け問診票（TM）および学校プロフィール問診票（SP）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 適応的でAI駆動のITS（ZPDES）に学習者選択を統合することで、ZPDESに選択機能なしの条件と比較して、学習パフォーマンスと内発的動機付けが向上するか？
• RQ2 固定的で手作業で設計されたカリキュラムに学習者選択を追加した場合、学習成果と動機付けにどのような影響を与えるか？
• RQ3 選択機能が動機付けと学習に与える好影響が、学習システム内での適応的パーソナライゼーションの有無に依存するか？
• RQ4 ZPDESは、手作業で設計されたカリキュラムよりも学習の進捗と学生の関与度において優れているか？
• RQ5 学習者選択が、適応的学習と内発的動機付けの関係をどの程度緩和するか？

主な発見

• ZPDESは、手作業で設計されたカリキュラムと比較して、お釣りの取り扱いや計算スキルに関する学習パフォーマンスを顕著に向上させ、効果量の指標から大規模な学習効果が示された。
• ZPDESに学習者選択機能を追加したことで、タイプの動機付け問診票（TM）による測定で、内発的動機付けが統計的に有意に上昇した（p < .05）。
• ZPDESと学習者選択機能の組み合わせが、最も高い学習効果をもたらした。これは、適応的パーソナライゼーションと選択機能の間で相乗効果が生じていることを示唆している。
• 一方、固定的で線形的なカリキュラムに選択機能を追加した場合、学習成果に悪影響を与えた。これは、適応的でない状況では選択機能が学習を妨げることがあることを示している。
• 性別、技術経験、自己選択などの人口統計的特徴や初期状態に、各条件間で有意差は認められず、RCTの設計の妥当性を裏付けた。
• 本研究は、ゲーム化機能（選択肢）が、すでにパーソナライズドで好奇心駆動型の学習を支援するシステム内に統合された場合に最も効果的であることを確認した。