[論文レビュー] Revolutionising Distance Learning: A Comparative Study of Learning Progress with AI-Driven Tutoring

Moritz Möller, G K Nirmal+5 more|arXiv (Cornell University)|Feb 21, 2024

Engineering Education and Technology被引用数 13

ひとこと要約

この研究は、AI チュータリングアシスタント（Syntea）が遠隔教育プログラムにおける大学の学習を加速させ、ローアウト後3か月以内に学習時間を約27%短縮することを、40以上のコースにわたる大規模分析に基づいて示しています。

ABSTRACT

Generative AI is expected to have a vast, positive impact on education; however, at present, this potential has not yet been demonstrated at scale at university level. In this study, we present first evidence that generative AI can increase the speed of learning substantially in university students. We tested whether using the AI-powered teaching assistant Syntea affected the speed of learning of hundreds of distance learning students across more than 40 courses at the IU International University of Applied Sciences. Our analysis suggests that using Syntea reduced their study time substantially--by about 27\% on average--in the third month after the release of Syntea. Taken together, the magnitude of the effect and the scalability of the approach implicate generative AI as a key lever to significantly improve and accelerate learning by personalisation.

研究の動機と目的

• 生成型 AI チュータリングが遠隔プログラムにおける大学の学習速度をどのように高め得るかを動機づけ、定量化する。
• Syntea の試験トレーニング機能が学習進捗に及ぼす影響を時間とともに評価する。
• 集団の変化や潜在的な交絡因子に対する効果の頑健性を評価する。
• 学習成果（合格率や成績など）への影響を検討し、潜在的なトレードオフを評価する。

提案手法

• 多数の遠隔学習受講生を対象に、処置群（Syntea 試験トレーナー使用者）と対照群（非使用者）デザインを用いる。
• ローアウトの24か月前から3か月後までのタイムラインにわたり、1人あたり月間に合格した試験数を算出する60日間のスライディングウィンドウを適用する。
• 処置群と対照群のベースライン補正を行い、月次で相対差を分析する。
• 観察された効果の統計的有意性を評価するため、事前後比較をt検定で実施し、頑健性検証を含む。
• 分析を補足する形で、成果への副作用を評価するために合格率と成績の統計を補足する。

実験結果

リサーチクエスチョン

• RQ1 AI チュータリングアシスタントの Syntea は、大学の遠隔プログラムにおける学習進捗を加速させるか。
• RQ2 導入後、加速効果はどのくらい大きく、時間とともにどのように進化するか。
• RQ3 観察された効果は、学生集団の変化や季節的ダイナミクスに対して頑健か。
• RQ4 AI チュータリング介入は合格率や平均成績に影響を与えるか。

主な発見

• Syntea の利用者は、導入前でも平均的な遠隔学習者より学習を速く進めており、約24.1%高い進捗を示している。
• 導入後、ギャップは拡大し、学習進捗の相対差は1か月目27.9%、2か月目39.0%、3か月目69.9%となった。
• 統計的検定では、リリース後に有意な改善がみられ、2か月目 p = .031、3か月目 p < .001；事前差は統計的に有意ではなかった。
• 学習の進捗量の改善は学習時間の短縮へと翻訳され、3か月目までに Syntea ユーザーの平均学習期間（月数/試験）がおよそ27%減少することを示している。
• 合格率は高く安定しており（約0.98付近）、有意な悪影響はなし；一方、平均成績は treatment 群で3か月目に小幅で有意だが小さな低下（-3.4 ポイント）を示した。
• 推定される学習の加速は、対照群に対して約46ポイントの割合で加速していると報告されており、AI チューターがより速い学習のためのスケーラブルな手段になり得ることを裏付ける。