[論文レビュー] Digital interventions and habit formation in educational technology

Keshav Agrawal, Susan Athey+2 more|arXiv (Cornell University)|Oct 16, 2023

Child Development and Digital Technology被引用数 4

ひとこと要約

本研究は、インドの英語リーディングアプリにおけるコンテストベースのデジタル介入を評価し、12週間のランク付きコンペティションに伴う本の賞品が、介入後、物語の閲覧数を75％増加させ、リテンションを1.3ポイント向上させた。これは、外的動機を損なわず、長期間にわたり読書習慣を形成できる可能性を示している。

ABSTRACT

As online educational technology products have become increasingly prevalent, rich evidence indicates that learners often find it challenging to establish regular learning habits and complete their programs. Concurrently, online products geared towards entertainment and social interactions are sometimes so effective in increasing user engagement and creating frequent usage habits that they inadvertently lead to digital addiction, especially among youth. In this project, we carry out a contest-based intervention, common in the entertainment context, on an educational app for Indian children learning English. Approximately ten thousand randomly selected learners entered a 100-day reading contest. They would win a set of physical books if they ranked sufficiently high on a leaderboard based on the amount of educational content consumed. Twelve weeks after the end of the contest, when the treatment group had no additional incentives to use the app, they continued their engagement with it at a rate 75\% higher than the control group, indicating a successful formation of a reading habit. In addition, we observed a 6\% increase in retention within the treatment group. These results underscore the potential of digital interventions in fostering positive engagement habits with educational technology products, ultimately enhancing users' long-term learning outcomes.

研究の動機と目的

• 教育アプリを用いた子どもたちの長期的な読書習慣を形成できるか、コンテストベースのデジタル介入が有効であるかを評価すること。
• 賞品などの外部的インcentiveが、内発的動機を減少させるのか、あるいはそれを強化するのかを検討すること。
• インcentiveが撤回された後も、ゲーム化された介入の持続的影響がアプリ利用およびリテンションに与える影響を評価すること。
• 低所得の教育環境において、スケーラブルで低コストなデジタル教育介入の実証的証拠を提供すること。
• ゲーム化がEdTechプラットフォームにおける一貫した関与を促進する有効性を検討すること。

提案手法

• 約10,000人の子どもを7つの学校ベースの受講バッチに分け、無作為化比較試験を実施した。
• 処置群の学生は、ランク付きリストと上位1,000名への本の賞品が付与される「100日間の読書コンテスト」に参加した。
• アウトカム変数には、物語の閲覧数とアプリリテンションが含まれ、インcentive終了後12週間にわたり測定された。
• 難易度の高い物語の消費数をモデル化するため、ポisson回帰が用いられ、処置が主な予測変数となった。
• タイム・トゥ・ドロップアウトを考慮し、リテンション確率を推定するために、コックス比例ハザードモデルが適用された。
• 機器誤差を低減するため、物語完了数の上位0.1％を除外するように、データを匿名化し処理した。

実験結果

リサーチクエスチョン

• RQ1 コンテストベースのデジタル介入は、教育的リーディングアプリにおける短期的関与を向上させるか？
• RQ2 このような介入は、インcentiveが終了した後もアプリ利用を継続的に増加させるか？
• RQ3 ゲーム化された環境で外部報酬が使われると、読書の内発的動機が損なわれるか？
• RQ4 継続的なインcentiveがない状況下で、介入が長期的リテンションにどの程度向上効果をもたらすか？
• RQ5 低所得の教育環境にいる子どもたちの読書習慣を、低コストでスケーラブルなデジタル介入が効果的に形成できるか？

主な発見

• インcentive終了後の12週間の期間中、処置群は対照群に比べて平均して0.30個の物語を多く読んだ（p < 0.05）。
• 処置群は、対照群の75％多く物語を読んだ。対照群の平均閲覧数は0.40であった。
• 処置群は、12週間の間、対照群の19％のリテンション率に比べ、1.3ポイント高い確率でアプリに継続して参加した。
• コンテスト中は処置群が対照群に比べ0.96個多く物語を読んだ（p < 0.05）。これは、対照群の平均2.12に対して45％の増加である。
• 処置群と対照群の間で、無作為化の前におけるアプリ利用に統計的に有意な差はなかった（p = 0.316）。これは、無作為化のバランスが保たれていることを支持する。
• 結果から、コンテストが内発的動機を損なわなかったことが示唆され、インcentive終了後も関与度が高止まりした。