[論文レビュー] Identifying At-Risk K-12 Students in Multimodal Online Environments: A Machine Learning Approach

Hang Li, Wenbiao Ding+1 more|arXiv (Cornell University)|Mar 21, 2020

Online Learning and Analytics参考文献 50被引用数 10

ひとこと要約

本論文では、クラス内、クラス外、時間変動型の特徴を統合し、クラス不均衡を解消するための新しいデータ拡張技術（凸重み付けを用いる）を用いて、マルチモーダルなオンライン学習環境におけるK-12生徒の退学リスクの高い生徒を特定する機械学習フレームワークを提案する。実運用環境において、第三者のチューティングプラットフォームで展開した結果、退学者の70%以上を検出できた。

ABSTRACT

With the rapid emergence of K-12 online learning platforms, a new era of education has been opened up. It is crucial to have a dropout warning framework to preemptively identify K-12 students who are at risk of dropping out of the online courses. Prior researchers have focused on predicting dropout in Massive Open Online Courses (MOOCs), which often deliver higher education, i.e., graduate level courses at top institutions. However, few studies have focused on developing a machine learning approach for students in K-12 online courses. In this paper, we develop a machine learning framework to conduct accurate at-risk student identification specialized in K-12 multimodal online environments. Our approach considers both online and offline factors around K-12 students and aims at solving the challenges of (1) multiple modalities, i.e., K-12 online environments involve interactions from different modalities such as video, voice, etc; (2) length variability, i.e., students with different lengths of learning history; (3) time sensitivity, i.e., the dropout likelihood is changing with time; and (4) data imbalance, i.e., only less than 20\% of K-12 students will choose to drop out the class. We conduct a wide range of offline and online experiments to demonstrate the effectiveness of our approach. In our offline experiments, we show that our method improves the dropout prediction performance when compared to state-of-the-art baselines on a real-world educational dataset. In our online experiments, we test our approach on a third-party K-12 online tutoring platform for two months and the results show that more than 70\% of dropout students are detected by the system.

研究の動機と目的

• K-12オンライン学習環境における退学者リスクの高い生徒を特定する実用的な早期警告システムを開発すること。特に、退学者率は低いが影響は大きい。
• K-12オンライン教育に特有の課題に取り組むこと：マルチモーダルな相互作用、変動する学習シーケンス長、時間に依存する退学者リスク、深刻なクラス不均衡。
• 近年の観測に高い重みを付けるレニエンシーに配慮した重み付けを用いたデータ拡張戦略を設計し、不均衡な退学者予測タスクにおけるモデル性能を向上させること。
• 実世界のデータを用いたオフライン評価と、第三者のK-12チューティングプラットフォーム上で実施されたオンライン運用環境での評価を実施すること。

提案手法

• 本フレームワークは、3種類の特徴を統合する：クラス内（例：動画や音声の相互作用）、クラス外（例：保護者との連絡、フォローアップ）、時間変動型（例：学習時間、セッション頻度）。
• 新規のデータ拡張技術を導入し、不足している退学者ケースの擬似トレーニングサンプルを生成する際、最近の観測に高い重要度を割り当てる凸重み関数を用いる。
• マルチステップ先読み予測を用いて、7日および14日後の退学者リスクを予測し、早期の対応を可能にする。
• 本モデルは、実世界のK-12教育データを用いてトレーニングされた機械学習パイプラインを採用し、オフライン実験ではAUCスコアを用いて性能を評価する。
• オンライン展開では、毎日学生を予測された退学者確率の高い順にランク付けし、上位30%をリスクありとしてフラグ付けして対応を促す。

実験結果

リサーチクエスチョン

• RQ1 クラス内、クラス外、時間変動型の特徴が、オンライン環境におけるK-12生徒の退学者予測に個別および統合的にどのように寄与するか？
• RQ2 レニエンシーに配慮したデータ拡張戦略は、不均衡な退学者予測タスクにおけるモデル性能をどの程度向上させるか？
• RQ3 実世界のK-12オンライン学習データを用いてトレーニングされた機械学習モデルは、実運用環境でリスクあり生徒の高い検出率を達成できるか？
• RQ4 本研究で提案するフレームワークは、実世界データにおけるAUC性能の面で、最先端のベースラインと比較してどのように差をつけるか？

主な発見

• オフライン実験において、本フレームワークは最先端のベースラインを著しく上回り、全特徴タイプを用いた7日予測タスクでAUCスコア0.7774を達成した。
• クラス外特徴のみで最も高い個別性能（AUC 0.7768）を示し、サービス品質や外部との相互作用が退学者予測の重要な予測要因であることが示された。
• データ拡張に用いた凸重み関数は、他の形式と比較して大幅に優れており、退学者予測において「最近性」の重要性が裏付けられた。
• 実運用環境において、上位30%の予測リスクスコアを持つ生徒をフラグ付けした結果、実際の退学者の70%以上を検出できた。
• クラス内、クラス外、時間変動型特徴の組み合わせは、すべての予測期間において最も高い性能を発揮し、マルチモーダル統合の価値を示した。