[論文レビュー] Next-Term Student Performance Prediction: A Recommender Systems Approach

Mack Sweeney, Huzefa Rangwala+2 more|arXiv (Cornell University)|Apr 7, 2016

Online Learning and Analytics参考文献 28被引用数 105

ひとこと要約

この論文は、従来の大学向けの次期学期成績予測システムを、コンテンツ特徴と協調フィルタリングを組み合わせて開発し、FM、RF、およびPMLRモデルを用い、精度と解釈性を改善する新しい特徴重要度指標を導入します。

ABSTRACT

An enduring issue in higher education is student retention to successful graduation. National statistics indicate that most higher education institutions have four-year degree completion rates around 50 percent, or just half of their student populations. While there are prediction models which illuminate what factors assist with college student success, interventions that support course selections on a semester-to-semester basis have yet to be deeply understood. To further this goal, we develop a system to predict students' grades in the courses they will enroll in during the next enrollment term by learning patterns from historical transcript data coupled with additional information about students, courses and the instructors teaching them. We explore a variety of classic and state-of-the-art techniques which have proven effective for recommendation tasks in the e-commerce domain. In our experiments, Factorization Machines (FM), Random Forests (RF), and the Personalized Multi-Linear Regression model achieve the lowest prediction error. Application of a novel feature selection technique is key to the predictive success and interpretability of the FM. By comparing feature importance across populations and across models, we uncover strong connections between instructor characteristics and student performance. We also discover key differences between transfer and non-transfer students. Ultimately we find that a hybrid FM-RF method can be used to accurately predict grades for both new and returning students taking both new and existing courses. Application of these techniques holds promise for student degree planning, instructor interventions, and personalized advising, all of which could improve retention and academic performance.

研究の動機と目的

• 高等教育における長年の学生維持・離脱防止の課題を動機づけ、解決する。
• 過去の成績履歴に加え、学生・科目・教員の特徴を用いて次の入学学期の成績を予測する。
• コールドスタートと非コールドスタートの状況に対応するため、ハイブリッドなコンテンツベースと協調フィルタリングモデルを評価する。
• 教員の特徴や転入学生要因など、成績に影響を与える特徴重要度を分析する。
• 学位計画とアドバイジングの解釈性と予測精度を向上させる方法を提案する。

提案手法

• 次期学期の成績予測を、豊富なコンテンツ特徴を持つ疎な学生-科目行列に対する回帰タスクとして定式化する。
• 単純なベースライン、行列因子分解（SVD, SVD-kNN）および Factorization Machines（FM）によるハイブリッドモデルを探索する。
• FM を通じてコンテンツ特徴を取り入れ、コールドスタートに対処し、2-way 相互作用を学習する。
• RF、SGD回帰、kNN、PMLR を含む回帰モデルを評価し、FM の新しい MADImp 特徴重要度指標を実装する。
• 両モデルの長所を活かし、コールドスタート課題を緩和するハイブリッドFM-RFアプローチを提案する。
• データリークを避けるため、学期ごとに1つのモデルを訓練し、現在の学期の成績を予測する。

実験結果

リサーチクエスチョン

• RQ1 学生・科目・教員の特徴を補足した過去の成績履歴を用いて、次期学期の成績をどれほど正確に予測できるか？
• RQ2 コールドスタートと非コールドスタートのダイアドを対象に、コンテンツ特徴と協調フィルタリング手法を組み合わせる予測上の価値はどの程度か？
• RQ3 どのモデル（FM、RF、PMLR など）が次期学期の成績予測で最も低い予測誤差を生むか？
• RQ4 新しい特徴重要度指標は解釈性を高め、モデル選択を指針づけることができるか？
• RQ5 転入生と非転入生などの学生サブポピュレーション全体で、ハイブリッドFM-RFアプローチは個別モデルを上回るか？

主な発見

• 因子分解機、ランダムフォレスト、およびパーソナライズド多重線形回帰が、テストされたモデルの中で最も低い予測誤差を達成する。
• FM を介したコンテンツ特徴の取り入れは、学習された2元相互作用を通じて予測精度と解釈性を向上させる。
• 新しい特徴重要度指標（MADImp）はFM の結果の解釈性を改善し、影響力のある特徴の特定に役立つ。
• ハイブリッドFM-RF法は、長所を組み合わせ、コールドスタート問題を緩和することで個々のモデルを上回る。
• 教員の特徴と学生の成績との顕著な関連、および転入生と非転入生の違いが、特徴重要度分析によって明らかになる。