[論文レビュー] Academic Performance Estimation with Attention-based Graph Convolutional Networks

Qian Hu, Huzefa Rangwala|arXiv (Cornell University)|Dec 26, 2019

Online Learning and Analytics参考文献 33被引用数 18

ひとこと要約

本稿では、複雑なコース依存構造をモデル化し、予測の解釈可能性を可能にする注目型グラフ畳み込みニューラルネットワーク（ACGN）を提案する。このモデルは、成績予測精度とリスクの高い学生の検出において、最先端の手法を上回り、予測の根拠を特定する注目メカニズムを用いて解釈可能な予測を提供する。

ABSTRACT

Student's academic performance prediction empowers educational technologies including academic trajectory and degree planning, course recommender systems, early warning and advising systems. Given a student's past data (such as grades in prior courses), the task of student's performance prediction is to predict a student's grades in future courses. Academic programs are structured in a way that prior courses lay the foundation for future courses. The knowledge required by courses is obtained by taking multiple prior courses, which exhibits complex relationships modeled by graph structures. Traditional methods for student's performance prediction usually neglect the underlying relationships between multiple courses; and how students acquire knowledge across them. In addition, traditional methods do not provide interpretation for predictions needed for decision making. In this work, we propose a novel attention-based graph convolutional networks model for student's performance prediction. We conduct extensive experiments on a real-world dataset obtained from a large public university. The experimental results show that our proposed model outperforms state-of-the-art approaches in terms of grade prediction. The proposed model also shows strong accuracy in identifying students who are at-risk of failing or dropping out so that timely intervention and feedback can be provided to the student.

研究の動機と目的

• 学術プログラムにおける複雑で多次元の知識的依存関係を捉えることに失敗する静的および逐次的モデルの限界を解消すること。
• 必須科目や知識的依存関係を反映するグラフ構造としてのコース関係をモデル化することで、学生の成績予測の精度を向上させること。
• 学生が特定のコースで予測される成績に最も影響を与える過去のコースを特定することで、予測の解釈可能性を実現すること。
• 注目メカニズムを活用して欠落または弱い必須科目の知識を特定することで、リスクの高い学生を早期に同定すること。
• アドバイザーおよび教育計画担当者が透明で根拠に基づいた予測を用いて教育的意思決定を支援すること。

提案手法

• ノードがコースを表し、エッジが必須科目関係または知識的依存関係を表すコース依存性グラフをモデルが構築する。
• グラフ畳み込みネットワーク（GCN）は、隣接するコースからの特徴を統合することで、複数の過去のコースにわたる学生の成績の文脈的表現を学習する。
• 注目メカニズムをGCNに統合し、ターゲットコースの成績予測に寄与する可能性がより高い過去のコースに動的に重要度スコアを割り当てる。
• 注目層は、クエリがターゲットコースの埋め込みから得られ、キーが過去のコースの埋め込みから得られるクエリベースのメカニズムを用いてコースの重要度を計算する。
• 最終的な予測は、GCNで学習された表現と注目重み付き寄与を組み合わせることで生成され、高い精度と解釈可能性を両立する。
• 本モデルは、大規模な公立大学の実データを用いて、平均絶対誤差（MAE）損失を用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのディープラーニングモデルは、従来の静的および逐次的モデルに比べ、将来のコースにおける学生の成績予測で優れた性能を示せるか？
• RQ2 注目メカニズムは、ターゲットコースにおける学生の成績予測に最も影響を与える過去のコースをどれほど効果的に同定できるか？
• RQ3 このモデルは、失敗または退学の可能性が高いリスクの高い学生をどの程度正確に同定できるか？
• RQ4 このモデルの予測はどの程度解釈可能であり、注目スコアは学業アドバイス意思決定に意味のある説明を提供できるか？
• RQ5 このモデルの性能は、グラフ埋め込みの次元数といったハイパーパrameterに対してどの程度感受性を示すか？

主な発見

• ACGNモデルは、2017年秋学期および2018年春学期の実データセットにおいて、最先端の手法に比べて優れた成績予測性能を示し、平均絶対誤差（MAE）が低かった。
• モデルはリスクの高い学生の同定において強く優れた能力を示し、ターゲットコースで失敗または退学の可能性が高い学生を正しく特定した。
• 注目スコアは、MATH-212 や CS-211 のような重要なコースを受講していない、または不合格であった場合の欠落または弱い必須科目の知識を的確に特定し、成績予測が低くなる理由を直接説明した。
• 事例研究により、注目メカニズムが、BIOL-452 のターゲットコースに対して、BIOL-213 や BIOL-214 のような関連する必須科目を正しく同定した。これは学術カリキュラム構造と整合的であった。
• 感度分析の結果、埋め込み次元の変更に対してもモデルの性能が安定しており、ハイパーパrameter設定に対して頑健であることが示された。
• 事例研究を通じて、モデルの解釈可能性が検証され、注目重みがアドバイザーが学生支援を促進するための実行可能なインサイトを提供した。