[論文レビュー] Assessing the Performance of Online Students -- New Data, New Approaches, Improved Accuracy

Robin Schmucker, Jingbo Wang+2 more|arXiv (Cornell University)|Sep 4, 2021

Online Learning and Analytics被引用数 4

ひとこと要約

本論文は、豊富なログデータ、カリキュラムの前提条件構造、および異なる学習段階に特化したモデルを活用して、オンライン教育における学生の学力モデル化のための新しい機械学習アプローチを提案する。応答パターン、ヒント使用状況、滑らかに補正された正答率といった新規特徴量を導入することで、4つの大規模データセットでSOTAのAUC 0.808を達成し、従来のロジスティック回帰およびディープラーニング手法を上回る性能を発揮した。

ABSTRACT

We consider the problem of assessing the changing performance levels of individual students as they go through online courses. This student performance (SP) modeling problem is a critical step for building adaptive online teaching systems. Specifically, we conduct a study of how to utilize various types and large amounts of student log data to train accurate machine learning (ML) models that predict the performance of future students. This study is the first to use four very large sets of student data made available recently from four distinct intelligent tutoring systems. Our results include a new ML approach that defines a new state of the art for logistic regression based SP modeling, improving over earlier methods in several ways: First, we achieve improved accuracy by introducing new features that can be easily computed from conventional question-response logs (e.g., the pattern in the student 's most recent answers). Second, we take advantage of features of the student history that go beyond question-response pairs (e.g., features such as which video segments the student watched, or skipped) as well as information about prerequisite structure in the curriculum. Third, we train multiple specialized SP models for different aspects of the curriculum (e.g., specializing in early versus later segments of the student history), then combine these specialized models to create a group prediction of the SP. Taken together, these innovations yield an average AUC score across these four datasets of 0.808 compared to the previous best logistic regression approach score of 0.767, and also outperforming state-of-the-art deep neural net approaches. Importantly, we observe consistent improvements from each of our three methodological innovations, in each dataset, suggesting that our methods are of general utility and likely to produce improvements for other online tutoring systems as well.

研究の動機と目的

• 大規模なログデータを活用して、オンライン学習環境における学生の学力モデル化の精度を向上させること。
• 基本的な正誤応答以外の多様な学生のインタラクション特徴量（例：応答パターン、ヒント使用状況、タスクに費やした時間）が予測モデリングにどのように寄与するかを調査すること。
• カリキュラムの前提条件構造と、学習段階に応じた特化型モデルの導入が、予測精度に与える影響を評価すること。
• 最近の大規模なITSデータセットを用いて、ロジスティック回帰とディープラーニングモデルの性能を比較すること。
• 多様なオンラインチューティングシステムに適用可能な汎用的な学生の学力モデル化フレームワークを確立すること。

提案手法

• 本手法は、学生のログデータから得られる新規特徴量を導入する。具体的には、最近の正答状況のn-gram（応答パターン）、ヒント使用回数と使用時間、滑らかに補正された平均正答率を含む。
• カリキュラムの背景情報（知識要素間の前提条件および後続条件関係）を統合し、モデルの予測を支援する。
• 学習の異なる段階（例：授業の初期段階 vs. 後期段階）に特化した複数のロジスティック回帰モデルを訓練し、その出力を統合して最終予測を行う。
• ヒントの回数や時間といった特徴量は、大きさのバイアスを軽減するため、対数スケール関数 φ(x) = log(1 + x) を用いて変換する。
• 初期段階での学生の学力推定を安定化させるために、滑らかに補正された平均正答率 rs = (cs + ηr̄)/(as + η) を用い、η = 5 とする。
• グリッドサーチを用いてハイパーパrameterを最適化し、100エポックにわたってトレーニングを行うことで、ロジスティック回帰とディープラーニングモデル（DKT、SAKT、SAINT、SAINT+）の両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 応答パターン、ヒント使用状況、タスクに費やした時間といった、さまざまな種類の学生のインタラクション特徴量が、学力予測精度にどのように影響するか。
• RQ2 カリキュラムの前提条件構造を統合することで、学生の学力モデル化の精度はどの程度向上するか。
• RQ3 学習の異なる段階（例：初期段階 vs. 復習段階）に特化したモデルを訓練することで、全体の予測精度が向上するか。
• RQ4 本手法は、既存の最先端のアプローチ（特にディープラーニングモデル）と比較して、どの程度高い精度を発揮するか。
• RQ5 観察された改善効果は、多様なオンラインチューティングシステムおよびデータセットにおいて一貫しているか。

主な発見

• 提案手法は、4つの大規模かつ多様なデータセットにおいて平均AUC 0.808を達成し、以前の最高のロジスティック回帰手法（AUC 0.767）を顕著に上回った。
• 3つのコアなイノベーション（新規特徴量、カリキュラム構造の統合、特化型モデル）は、4つのすべてのデータセットで一貫した精度向上をもたらした。
• DKT、SAKT、SAINT、SAINT+といった最先端のディープラーニングモデルを上回るAUCを達成し、豊富な特徴量を活用する構造化されたロジスティック回帰の有効性を示した。
• η = 5 として設定した滑らかに補正された平均正答率特徴量は、初期段階での学生の学力推定の分散を低減し、モデルの安定性を向上させたことが判明した。
• 応答パターン特徴量により、短期間の正答/不正答の連続（スティーリング）といったトレンドをモデルが検出可能となり、予測性能が向上した。
• ヒント使用回数および時間の対数スケール変換により、学生行動における極端な値の影響が軽減され、モデルのロバスト性が向上した。