[論文レビュー] Effective and Scalable Math Support: Evidence on the Impact of an AI- Tutor on Math Achievement in Ghana

Owen Henkel, Hannah Horne-Robinson+2 more|arXiv (Cornell University)|Feb 15, 2024

Online Learning and Analytics被引用数 8

ひとこと要約

この研究は、Rori という AI 搭載の WhatsApp 数学チューターを評価し、約 1,000 人のガーナ人の小学校3–9年生において8か月間で数学成長が有意に改善した。

ABSTRACT

This study evaluates the impact of Rori, an AI powered conversational math tutor accessible via WhatsApp, on the math performance of approximately 1,000 students in grades 3-9 across 11 schools in Ghana. Each school was assigned to a treatment group or control group; the students in the control group continued their regular math instruction, while students in the treatment group engaged with Rori, for two 30-minute sessions per week over 8 months in addition to regular math instruction. We find that the math growth scores were substantially higher for the treatment group with an effect size of 0.37, and that the results were statistically significant (p < 0.001). The fact that Rori works with basic mobile devices on low-bandwidth data networks gives the intervention strong potential to support personalized learning on other low-and-middle-income countries (LMICs), where laptop ownership and high-speed internet - prerequisite for many video-centered learning platforms - remain extremely limited. While the results should be interpreted judiciously, as they only report on year 1 of the intervention, and future research is necessary to better understand which conditions are necessary for successful implementation, they do suggest that chat-based tutoring solutions leveraging artificial intelligence could offer a costeffective approach to enhancing learning outcomes for millions of students globally.

研究の動機と目的

• ガーナの学生の数学成績に対する AI 搭載対話型数学チューター（Rori）の影響を評価する。
• 毎週 2 回 30 分ずつのチュートリアルセッションが通常の授業に付加価値を加えるかを検討する。
• 低帯域 LMIC 設定における WhatsApp ベースのチューターのスケーラビリティと実現可能性を評価する。

提案手法

• 11 校にまたがる治療群と対照群を用いたランダム化または準実験デザイン。
• 治療群は通常の授業に加えて 8 か月間 Rori を受講（週2回・各30分のセッション）。
• 成果指標は効果を評価するための数学成長スコアに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 AI 搭載チューター Rori の曝露は、通常の授業だけと比較して数学成長スコアを改善するか。
• RQ2 この LMIC の複数校設定において Rori の数学成績への効果は統計的に有意か。
• RQ3 低帯域環境でのチャットベースAI チュータリングのスケーラビリティと適用性における示唆は何か。

主な発見

• 治療群（Rori）で数学成長スコアが対照群より高かった。
• 影響の効果量は 0.37。
• p < 0.001 で統計的に有意であった。
• 11 校を対象に約 1,000 名の学生が参加した。
• 介入は通常の授業に加えて週2回・各30分のセッションを8か月間実施。