[論文レビュー] Sparse Neural Attentive Knowledge-based Models for Grade Prediction

Sara Morsy, George Karypis|arXiv (Cornell University)|Apr 22, 2019

Online Learning and Analytics参考文献 19被引用数 4

ひとこと要約

本稿では、CKRMと同様に全履修科目が等価に寄与すると仮定するのではなく、動的で注目メカニズムに基づく重みを学習することで成績予測を向上させる、ニューラル注目知識モデル（NAK）を提案する。sparsemax活性化関数を用いることで、NAKはCKRMや他のベースラインより顕著に高い精度を達成し、スパースな注目重みにより、形式的・非形式的な重要な事前履修科目を特定する。これにより、より良いコース計画が可能になる。

ABSTRACT

Grade prediction for future courses not yet taken by students is important as it can help them and their advisers during the process of course selection as well as for designing personalized degree plans and modifying them based on their performance. One of the successful approaches for accurately predicting a student's grades in future courses is Cumulative Knowledge-based Regression Models (CKRM). CKRM learns shallow linear models that predict a student's grades as the similarity between his/her knowledge state and the target course. A student's knowledge state is built by linearly accumulating the learned provided knowledge components of the courses he/she has taken in the past, weighted by his/her grades in them. However, not all the prior courses contribute equally to the target course. In this paper, we propose a novel Neural Attentive Knowledge-based model (NAK) that learns the importance of each historical course in predicting the grade of a target course. Compared to CKRM and other competing approaches, our experiments on a large real-world dataset consisting of $\sim$1.5 grades show the effectiveness of the proposed NAK model in accurately predicting the students' grades. Moreover, the attention weights learned by the model can be helpful in better designing their degree plans.

研究の動機と目的

• 従来の知識ベースモデル（例：CKRM）が全履修科目が将来の成績予測に等価に寄与すると仮定しているという限界を是正すること。
• 各履修科目の重要度の変動を学習することで、予測精度を向上させること。
• ニューラルネットワークにおける注目メカニズムを活用し、明示的にリストアップされていない非形式的・隠れた事前履修科目を自動で同定すること。
• 学習された注目重みの解釈可能性を活用し、より良い学術的アドバイスとパーソナライズドな学位計画を可能にすること。
• 実世界の大学データを用いた成績予測の文脈において、ソフト注目とスパース注目メカニズムの有効性を評価すること。

提案手法

• NAKモデルは、CKRMにおける均一な重み付けを置き換え、履修科目ごとの学習済み動的重みを計算するためのニューラルネットワークを用いる。
• 注目重みの生成に、ソフトマックスとスパースマックス（sparsemax）活性化関数を併用し、スパースマックスは不要な履修科目の重みをゼロに設定することでスパarsityを促進する。
• 学生の知識状態は、履修科目の埋め込みベクトルの重み付き和として計算され、重みは学習済み注目スコアである。
• モデルは、学生の注目重み付き知識状態と、ターゲットコースの埋め込みベクトルとの内積として、学生のターゲットコースにおける成績を予測する。
• モデルは、大規模なデータセット（16年間で約150万件の成績）を用いてエンドツーエンドで訓練される。
• 成績の行中心化（row-centering）が適用され、各学生の平均履修成績を差し引くことで、モデル性能の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムは、従来の知識ベースモデル（例：CKRM）と比較して成績予測精度を向上させることができるか？
• RQ2 スパース注目（sparsemaxを用いて）は、不要な履修科目をフィルタリングすることで、関連する事前履修科目をより効果的に特定できるか？
• RQ3 学習された注目重みは、カリキュラムに明示的に記載されていない形式的・非形式的事前履修科目を反映しているか？
• RQ4 RMSEおよび予測精度の観点から、NAKの性能はKRM(sum)、KRM(avg)、行列分解などのベースラインモデルと比較してどうなるか？
• RQ5 注目重みの解釈可能性は、より良い学術的アドバイスとパーソナライズドな学位計画を支援できるか？

主な発見

• NAK(sparse)は、最高性能を示したベースラインKRM(avg)と比較して、約2%低いRMSEを達成し、予測精度の顕著な向上を示した。
• NAK(sparse)は、KRM(avg)と比較して、2ターン以内の誤差範囲での予測精度が約1%高いことを確認し、成績推定の精度向上を裏付けた。
• スパースマックス活性化関数により、スパースな注目重みが得られ、わずか数個の履修科目にのみ非ゼロの注目重みが割り当てられ、不要な履修科目が効果的に除外された。
• モデルは、形式的事前履修科目（例：中級ドイツ語I → 中級ドイツ語II）と非形式的事前履修科目（例：大学ライティング → ドイツ語コース）を、学習済み注目重みに基づき正しく同定した。
• 定性的分析により、注目重みは解釈可能であり、専攻科目に限らず、非専攻科目に対しても学術的要件と整合していた。
• 教師なしで隠れた事前履修科目を学習できる能力は、明示的なカリキュラムに記載されていない知識的依存関係をモデルが捉えていることを示唆している。