[論文レビュー] Will this Course Increase or Decrease Your GPA? Towards Grade-aware Course Recommendation

Sara Morsy, George Karypis|arXiv (Cornell University)|Apr 22, 2019

Recommender Systems and Techniques参考文献 43被引用数 7

ひとこと要約

本論文は、成績予測を組み合わせた成績認識型コース推薦フレームワークを提案し、学生のGPAを維持または向上させる可能性の高いコースを優先的に推薦することで、GPAに与える影響を明示的に考慮する。時間的順序に従ったコース履修履歴を用いた表現学習（SVDおよびCourse2vec）を活用し、成績に無関心なアプローチに比べて、高GPAのコースをより多く、低GPAのコースをより少なく推薦する。16年間分のミネソタ大学のデータセット（23の専攻をカバー）において、SVDベースのモデルが優れた性能を示した。

ABSTRACT

In order to help undergraduate students towards successfully completing their degrees, developing tools that can assist students during the course selection process is a significant task in the education domain. The optimal set of courses for each student should include courses that help him/her graduate in a timely fashion and for which he/she is well-prepared for so as to get a good grade in. To this end, we propose two different grade-aware course recommendation approaches to recommend to each student his/her optimal set of courses. The first approach ranks the courses by using an objective function that differentiates between courses that are expected to increase or decrease a student's GPA. The second approach combines the grades predicted by grade prediction methods with the rankings produced by course recommendation methods to improve the final course rankings. To obtain the course rankings in both approaches, we adapt two widely-used representation learning techniques to learn the optimal temporal ordering between courses. Our experiments on a large dataset obtained from the University of Minnesota that includes students from 23 different majors show that the grade-aware course recommendation methods can do better on recommending more courses in which the students are expected to perform well and recommending fewer courses which they are expected not to perform well in than grade-unaware course recommendation methods.

研究の動機と目的

• 学生が卒業を適切な時期に完了し、高いGPAを達成できるように支援するため、コース推薦システムを改善すること。
• 成績予測とコース推薦を統合し、コースが学生のGPAに与える影響を明示的に考慮するフレームワークを構築すること。
• 学生が履修したコースの時間的順序をモデル化し、GPAを向上または低下させる最適な履修順序を学習すること。
• 成績認識型の推薦が、学生の期待される成績や学業的成功にどのように適合するかを評価すること。
• コースの人気度と難易度の両方のバランスを保ち、単に人気の高いまたは簡単なコースに偏らないようにすること。

提案手法

• 最初の手法は、学生のGPAを上昇させるか低下させるかを予測するコース履修順序を区別するように変更されたSVDの目的関数を用いる。コースの受講を時間的順序に従ったシーケンスとして扱う。
• 2番目の手法であるCourse2vecは、Word2vecを模倣した対数線形ニューラルネットワークモデルを用い、学生の成績履歴におけるコースの時間的順序に基づいて、コースの密なベクトル表現を学習する。
• 両手法とも、各学生の履修履歴を時間的経過に伴うコースのシーケンスとして扱い、履歴のコース受講データを用いて学習する。
• フレームワークは、事前に学習された成績予測モデルからの予測成績を統合し、推薦の順位付けを改善することで、関連性の高い推薦を実現する。
• フィルタリング機構により、推薦におけるコースの人気度の多様性が保証され、人気の高いコースに過度に依存するのを防ぐ。
• モデルの評価には、実際のコース受講データのテストセットを用いた精度、再現率、F1スコアなどの指標が用いられ、異なる専攻および学生グループごとに性能が分析された。

実験結果

リサーチクエスチョン

• RQ1 コース推薦システムは、コースの期待される成績（GPAへの影響）を明示的に組み込むことで改善できるか？
• RQ2 SVDやCourse2vecのような表現学習手法を、GPAへの影響を考慮したコース履修順序をモデル化するために適応した場合、その性能はいかがなものか？
• RQ3 成績予測とコース推薦を統合することで、単独で使用する場合に比べて推薦の質が向上するか？
• RQ4 成績認識型の推薦は、単に人気の高いか簡単なコースに偏っているのか、それとも人気度と難易度の両方の多様性を保っているのか？
• RQ5 成績認識型の推薦により、GPAを悪化させる可能性のあるコースの数を減らし、GPAを向上させる可能性のあるコースの数を増やすことができるか？

主な発見

• 成績認識型のコース推薦手法は、成績に無関心なベースラインに比べ、GPAを向上させる可能性のあるコースを20〜50%多く推薦し、GPAを低下させる可能性のあるコースを少なく推薦することで、顕著に優れた性能を示した。
• SVDベースの手法（SVD(+-)）が最高の性能を示し、精度が3.56、再現率が3.55、F1スコアが0.20であった。これは、他のモデルに比べて優れた性能を発揮した。
• 良い成績のコースと悪い成績のコースを区別するモデル（例：grp-pop(+-)およびCKRM+SVD(+-)）は、良い成績のコースのみを用いるモデルと同等の性能を達成しており、堅牢性が確認された。
• 推薦されたコースは人気度のレベルにわたり適切に分散されており、CKRM+SVD(+-)は人気の低いコースを好む傾向を示しており、人気の高いコースに偏るリスクが低減されていることが示された。
• 提案手法は、23の専攻および学生のサブグループすべてにおいて、最高のベースラインを常に上回った。これは、汎用性の高さを示している。
• フレームワークは、簡単なコースや低難易度のコースに偏った傾向を示さず、成績への影響と順序学習に基づいて推薦がなされていることが示された。