[論文レビュー] Beyond A/B Testing: Sequential Randomization for Developing Interventions in Scaled Digital Learning Environments

Timothy NeCamp, Josh Gardner+1 more|arXiv (Cornell University)|Oct 26, 2018

Online Learning and Analytics参考文献 27被引用数 5

ひとこと要約

本論文は、大規模なデジタル学習環境（SDLEs）における適応的・個人化された介入の開発のための新しい実験的デザインである逐次的ランダム化試験（SRTs）を導入する。従来のA/Bテストの限界を克服し、コース全体にわたり複数回にわたって受講者を再ランダム化することで、介入の最適な順序付け、タイミング、および個人化を同定可能にする。事例研究では、文化的にターゲットを絞ったメール通知がデータサイエンスのMOOCにおける受講者の関与度を向上させたことが示された。

ABSTRACT

Randomized experiments ensure robust causal inference that are critical to effective learning analytics research and practice. However, traditional randomized experiments, like A/B tests, are limiting in large scale digital learning environments. While traditional experiments can accurately compare two treatment options, they are less able to inform how to adapt interventions to continually meet learners' diverse needs. In this work, we introduce a trial design for developing adaptive interventions in scaled digital learning environments -- the sequential randomized trial (SRT). With the goal of improving learner experience and developing interventions that benefit all learners at all times, SRTs inform how to sequence, time, and personalize interventions. In this paper, we provide an overview of SRTs, and we illustrate the advantages they hold compared to traditional experiments. We describe a novel SRT run in a large scale data science MOOC. The trial results contextualize how learner engagement can be addressed through inclusive culturally targeted reminder emails. We also provide practical advice for researchers who aim to run their own SRTs to develop adaptive interventions in scaled digital learning environments.

研究の動機と目的

• 大規模なデジタル学習環境（SDLEs）における従来のA/Bテストの限界に対処すること。特に、一度のランダム化では動的な適応的介入のニーズを捉えることができない点に起因する。
• 受講者のニーズや行動の変化に応じて、介入の順序付け、タイミング、および個人化を支援する試験設計を開発すること。
• 研究者がSDLEsにおいてSRTsを設計・実装するための実用的フレームワークを提供すること。
• MOOCにおけるメール通知介入の事例研究を通じて、SRTsの有効性を実証すること。文化的にターゲットを絞ったメッセージが受講者の関与度を向上させることを示す。

提案手法

• 受講者がコース全体にわたり複数回にわたって異なる介入オプションに再ランダム化される逐次的ランダム化試験（SRTs）を提案する。
• 繰り返しのランダム化を用いて、さまざまな介入の順序を比較し、最適なタイミングと個人化戦略を同定する。
• 中間の変数（例：最近の行動）を個人化のための潜在的モデレーターとして使用し、ベースラインの人口統計的特徴を越えた動的な適応を可能にする。
• 文化的にターゲットを絞ったメール介入を評価するために、実世界のMOOC環境（Problem-based Email Reminder Coursera Study, PERCS）にSRTsを適用する。
• 複数の時間点（例：第2週 vs. 第3週）での処置効果を分析し、特定の介入がいつ最も効果的であるかを同定する。
• 全ユーザーが毎週初めに再ランダム化される多波にわたるランダム化戦略を採用し、時間軸に沿った異なるメールの順序を比較可能にする。

実験結果

リサーチクエスチョン

• RQ1 SDLEにおける実験的デザインは、受講者の行動に基づいて時間とともに変化する適応的介入の開発を、どのようにより効果的に支援できるか？
• RQ2 介入の順序付けやタイミングを評価する文脈において、単一のランダム化と比較して、複数回の再ランダム化が持つ利点は何か？
• RQ3 中間の行動変数（例：最近の行動）を用いることで、介入の個人化は効果的に可能となるか？また、それらはベースラインの人口統計的特徴と比べてどう異なるか？
• RQ4 文化的にターゲットを絞ったメッセージを含むメール通知は、大規模なMOOCにおける受講者の関与度にどのように影響を与えるか？
• RQ5 実世界のデジタル学習環境においてSRTsを設計・分析するにあたり、実務上の考慮事項と方法論的ステップは何か？

主な発見

• SRTsにより、特定の介入がコースの第2週目と第3週目に比べてより効果的であるなど、最適な処置の順序とタイミングを同定可能である。
• PERCS研究では、文化的にターゲットを絞ったリマインダー・メールが受講者の関与度を向上させたことが示され、インドと米国の受講者に対して異なる効果が見られた。
• 再ランダム化により、最近のユーザー行動といった中間のモデレーターを同定可能となり、静的なベースライン特徴を越えた動的な個人化が可能になった。
• メールの内容における語の長さが効果に影響を与えることが判明し、言語的デザインが介入の成功にとって重要な要因であることが示唆された。
• SRTsにより、一度の試験で複数の処置の順序を同定可能となり、複数回の逐次的実験の必要性が削減された。
• PERCSの結果は、受講完了率や成績への長期的影響を検証するため、絞り込まれた高パフォーマンスの処置順序を対象とした確認的A/Bテストの実施が求められることを支持している。