[論文レビュー] Predicting Academic Performance for College Students: A Campus Behavior Perspective

Huaxiu Yao, Defu Lian+3 more|arXiv (Cornell University)|Mar 15, 2019

Online Learning and Analytics参考文献 39被引用数 8

ひとこと要約

本稿では、縦断的スマートカードデータを用いて大学受験生の学業成績を予測するマルチタスク学習ランキングフレームワーク（MTLTR-APP）を提案する。勤勉さ、整然さ、睡眠パターンが主な行動予測要因として特定され、学期間および専攻間の相関関係と学生の類似性を活用することで、成績予測において最高で0.513のスピアマン順位相関を達成した。

ABSTRACT

Detecting abnormal behaviors of students in time and providing personalized intervention and guidance at the early stage is important in educational management. Academic performance prediction is an important building block to enabling this pre-intervention and guidance. Most of the previous studies are based on questionnaire surveys and self-reports, which suffer from small sample size and social desirability bias. In this paper, we collect longitudinal behavioral data from 6,597 students' smart cards and propose three major types of discriminative behavioral factors, diligence, orderliness, and sleep patterns. Empirical analysis demonstrates these behavioral factors are strongly correlated with academic performance. Furthermore, motivated by social influence theory, we analyze the correlation between each student's academic performance with his/her behaviorally similar students'. Statistical tests indicate this correlation is significant. Based on these factors, we further build a multi-task predictive framework based on a learning-to-rank algorithm for academic performance prediction. This framework captures inter-semester correlation, inter-major correlation and integrates student similarity to predict students' academic performance. The experiments on a large-scale real-world dataset show the effectiveness of our methods for predicting academic performance and the effectiveness of proposed behavioral factors.

研究の動機と目的

• 学業成績予測における自己報告データの限界を克服するため、キャンパスのスマートカードから得られる現実的で非侵襲的な行動データを活用すること。
• 成績と強く相関する行動要因（勤勉さ、整然さ、睡眠パターン）を特定・定量化すること。
• マルチタスク学習フレームワークを用いて、学期間および専攻間の成績予測における依存関係をモデル化すること。
• 共起行動に基づく学生類似性を組み込むことで、予測精度を向上させること。
• 早期干渉が可能なスケーラブルでリアルタイムの予測システムを構築すること。

提案手法

• 約3年間にわたり、図書館、寮、食堂、授業棟での6,597名の学生のスマートカード取引から縦断的行動データを収集する。
• 勤勉さを学習時間帯におけるキャンパス滞在時間として定量化し、整然さを日常的ルーチンの規則性として定義し、睡眠パターンを初回・最終のカード使用時刻から特定する。
• 学期間の時間的相関を逐次スムージング正則化によりモデル化するマルチタスク学習to-rankフレームワーク（MTLTR-APP）を採用する。
• 関連する学部間でモデルパラメータを共有することで、専攻間の相関を組み込む。
• 共起パターンに基づく学生類似性正則化項を導入し、一般化性能と予測精度を向上させる。
• t検定と感度分析を用いてモデルハイパーパrameterを最適化し、最適な正則化係数（λs = 1.0、ξ ≈ 0.2）を同定した。

実験結果

リサーチクエスチョン

• RQ1 スマートカードデータから抽出した勤勉さ、整然さ、睡眠パターンは、学業成績とどの程度相関するか？
• RQ2 行動的に類似した学生の成績はどの程度相関するか。この相関関係は予測に活用可能か？
• RQ3 マルチタスク学習to-rankフレームワークは、学業成績予測における学期間および専攻間の依存関係を効果的にモデル化できるか？
• RQ4 個別に使用するか、組み合わせて使用するかによる予測力の違いは何か？
• RQ5 予測の頑健性と正確性を向上させるために、正則化項の最適な設定は何か？

主な発見

• 勤勉さ要因は、学期を通じて-0.308の強い負のスピアマン順位相関を示し、より高い勤勉さが良い成績と関連していることを示している。
• 整然さと睡眠パターンの組み込みにより予測性能が向上し、全3要因を含む最良のモデルでは第5学期にスピアマン相関0.513を達成した。
• 行動的に類似した同級生の成績は有意に相関しており、t検定により確認された。これは学業成績に及ぼす社会的影響効果を裏付けている。
• 逐次スムージング正則化（λs = 1.0）により、学期間の成績傾向を捉えることができ、モデル性能が顕著に向上した。
• 学部成績類似性正則化（ξ ≈ 0.2）により予測精度が向上し、同級生ベースのモデリングの価値を示している。
• MTLTR-APPフレームワークはベースラインモデルを上回り、データが少ない小規模専攻においても、異なる専攻および学期で頑健に性能を発揮した。