[論文レビュー] A framework for predicting, interpreting, and improving Learning Outcomes

Chintan Donda, Sayan Dasgupta+3 more|arXiv (Cornell University)|Oct 6, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 28被引用数 4

ひとこと要約

本論文では、認知的、行動的、試験技法的特徴を用いて学生のテストスコアを予測するスケーラブルなフレームワーク「Embibe Score Quotient (ESQ)モデル」を提案する。個別化されたシャープレー値に基づく特徴寄与度と予測区間を用いることで、解釈可能で実行可能なフィードバック（nudge）を可能にする。1億人以上の学習者インタラクションを対象とした分析において、予測値と実測値の中央絶対誤差は4.58%、相関係数は0.93を達成した。

ABSTRACT

It has long been recognized that academic success is a result of both cognitive and non-cognitive dimensions acting together. Consequently, any intelligent learning platform designed to improve learning outcomes (LOs) must provide actionable inputs to the learner in these dimensions. However, operationalizing such inputs in a production setting that is scalable is not trivial. We develop an Embibe Score Quotient model (ESQ) to predict test scores based on observed academic, behavioral and test-taking features of a student. ESQ can be used to predict the future scoring potential of a student as well as offer personalized learning nudges, both critical to improving LOs. Multiple machine learning models are evaluated for the prediction task. In order to provide meaningful feedback to the learner, individualized Shapley feature attributions for each feature are computed. Prediction intervals are obtained by applying non-parametric quantile regression, in an attempt to quantify the uncertainty in the predictions. We apply the above modelling strategy on a dataset consisting of more than a hundred million learner interactions on the Embibe learning platform. We observe that the Median Absolute Error between the observed and predicted scores is 4.58% across several user segments, and the correlation between predicted and observed responses is 0.93. Game-like what-if scenarios are played out to see the changes in LOs, on counterfactual examples. We briefly discuss how a rational agent can then apply an optimal policy to affect the learning outcomes by treating the above model like an Oracle.

研究の動機と目的

• オンライン教育プラットフォームにおける学習成果（LOs）の予測と改善を可能にするスケーラブルで生産環境対応のフレームワークを開発すること。
• 認知的、行動的、試験技法的特徴を統合した包括的な予測モデルを構築し、実行可能なフィードバックを可能とすること。
• 非パラメトリックな分位数回帰を用いて予測の不確実性を定量化し、シャープレー値による解釈可能な特徴寄与度を提供すること。
• 対照的状況のシミュレーションと望ましいLOの向上を最適化することで、個別化された学習のフィードバック（nudge）を可能とすること。
• 歴史的データ分析と将来のA/Bテストを通じて、フィードバックの学習者行動への影響を検証すること。

提案手法

• 1,242の概念における学生の習得度をモデル化するため、ベイジアン知識トレーシング（BKT）とDeepFMを組み合わせた「モデルのネットワーク」アーキテクチャを採用する。
• 学習者の集計された学業的、行動的、試験技法的特徴に基づき、将来のテストスコアを予測するためのEmbibe Score Quotient（ESQ）モデルを用いる。
• 予測の不確実性を定量化するため、非パラメトリックな分位数回帰を適用し、予測区間を生成する。
• TreeExplainer（RNN用にはDeepExplainerを併用）を用いて、個別化されたシャープレー値を計算し、特定の特徴がスコアに与える寄与度を特定する。
• フィードバック（nudge）を最適化問題として定式化し、特徴の摂動をシミュレートすることで、学習行動の最も効果的な変更を同定する。
• ターゲット配信メッセージやゲーム化された「もしも」シナリオを通じて、フィードバックをプラットフォームに統合し、学習者をより良い結果へ導く。

実験結果

リサーチクエスチョン

• RQ1 微細な学習者インタラクションデータを用いた統合的モデルは、将来のテストスコアをどの程度正確に予測できるか？
• RQ2 シャープレー値は、学生の予測スコアに対する個別化された、実行可能な説明をどの程度提供できるか？
• RQ3 予測区間は、実世界の教育環境において学習成果予測の不確実性を効果的に定量化できるか？
• RQ4 シミュレートされた行動的フィードバック（nudge）は予測された学習成果にどのような影響を及ぼし、最適な学習戦略を導くのに役立つか？
• RQ5 モデルの解釈性に基づく個別化されたフィードバックを提供することで、時間経過に伴い学習者の行動に測定可能な改善が見られるか？

主な発見

• ESQモデルは、多様なユーザーセグメントを対象とした分析において、予測値と実測値の中央絶対誤差が4.58%であることを達成した。
• 予測値と実測値の相関係数は0.93であり、優れた予測性能を示している。
• AQ特徴（おそらく試行の質に関連）は、予測スコアの約60.98%を占めており、その支配的役割が浮き彫りになった。
• シャープレー値分析により、aq_16などの特定の特徴が正の寄与度（+1.57ポイント）を示す一方、bq_20（試験セッション数）などの特徴は負の寄与度（-0.73ポイント）を示すことが判明し、的確なフィードバックが可能になった。
• 歴史的データから、テストスコアが向上するにつれて、無駄な試行や過剰な誤答時間といった不適切な行動が減少傾向にあることが示され、フィードバックが行動に影響を与えている可能性が示唆された。
• RNNモデルが最も優れた予測性能を示したが、残差解析により滑らかでない挙動が確認され、今後のアーキテクチャ設計と解釈可能性のトレードオフに関するさらなる研究が求められた。