[論文レビュー] Improving Students' Academic Performance with AI and Semantic Technologies

Yixin Cheng|arXiv (Cornell University)|May 2, 2022

Online Learning and Analytics被引用数 4

ひとこと要約

本研究では、遺伝的アルゴリズム（GA）最適化LSTMネットワークとBERTベースの意味的埋め込み、SemRefDを統合したAI駆動のフレームワークを提案し、学生の成績予測とカリキュラム分析を向上させる。ドロップアウト予測において先行研究を2.5%上回る精度向上を達成し、プログラミング科目間の強い必須関係を意味的類似度と概念レベルの依存スコアリングにより特定した。

ABSTRACT

Artificial intelligence and semantic technologies are evolving and have been applied in various research areas, including the education domain. Higher Education institutions strive to improve students' academic performance. Early intervention to at-risk students and a reasonable curriculum is vital for students' success. Prior research opted for deploying traditional machine learning models to predict students' performance. In terms of curriculum semantic analysis, after conducting a comprehensive systematic review regarding the use of semantic technologies in the Computer Science curriculum, a major finding of the study is that technologies used to measure similarity have limitations in terms of accuracy and ambiguity in the representation of concepts, courses, etc. To fill these gaps, in this study, three implementations were developed, that is, to predict students' performance using marks from the previous semester, to model a course representation in a semantic way and compute the similarity, and to identify the prerequisite between two similar courses. Regarding performance prediction, we used the combination of Genetic Algorithm and Long-Short Term Memory (LSTM) on a dataset from a Brazilian university containing 248730 records. As for similarity measurement, we deployed BERT to encode the sentences and used cosine similarity to obtain the distance between courses. With respect to prerequisite identification, TextRazor was applied to extract concepts from course description, followed by employing SemRefD to measure the degree of prerequisite between two concepts. The outcomes of this study can be summarized as: (i) a breakthrough result improves Manrique's work by 2.5% in terms of accuracy in dropout prediction; (ii) uncover the similarity between courses based on course description; (iii) identify the prerequisite over three compulsory courses of School of Computing at ANU.

研究の動機と目的

• ハイブリッドAIモデルを用いて、ドロップアウト予測精度を向上させることで、リスクのある学生の早期特定を図ること。
• 既存の授業類似度測定法の限界を克服し、大学の授業概要の意味的符号化にBERTを活用すること。
• 概念抽出と依存スコアリングを用いて、類似授業間の必須関係を同定すること。
• 解釈可能なAI駆動の意味的分析を通じて、大学の授業カリキュラム設計と学術的アドバイスを支援すること。
• ディープラーニングと知識表現技術を統合することで、意味的カリキュラム分析におけるギャップを埋めること。

提案手法

• ブラジルの大学のデータセット（248,730件の記録）を用い、遺伝的アルゴリズム（GA）を用いてLSTMベースのドロップアウト予測の特徴選択を最適化した。
• 順序的な学業成績をモデル化し、ドロップアウトリスクを予測するために、全結合層を備えた長短期記憶（LSTM）ネットワークを適用した。
• アustralian National University（ANU）の授業概要をBERT-baseを用いて密度的な意味的ベクトルに埋め込み、授業間のコサイン類似度計算を可能にした。
• TextRazorを用いて授業概要から主要な概念を抽出し、その後SemRefDを用いて概念ペア間の必須関係強度を計算した。
• 類似度スコアと必須関係メトリクスを統合し、ANUのコンピュータサイエンス学部における1000、2000、3000/4000レベルの授業間の関係を分析した。
• 実世界の授業データを用いて結果を検証し、ケーススタディとしてCOMP1100、COMP1110、COMP2100などのプログラミング科目に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドGA-LSTMモデルは、既存の手法と比較して、学生のドロップアウト予測精度を向上させることができるか？
• RQ2 BERTベースの意味的埋め込みは、授業概要に基づいて大学の授業間の類似度をどの程度正確に測定できるか？
• RQ3 SemRefDは、意味的に類似した授業間で意味のある必須関係をどの程度特定できるか？
• RQ4 コンピュータサイエンスカリキュラムにおいて、授業の類似度と必須関係強度の関係は何か？
• RQ5 ディープラーニングと意味的技術の統合は、高等教育分野における早期対応とカリキュラム最適化を支援できるか？

主な発見

• GA-LSTMモデルは、Manriqueらの最良結果を2.5%上回るドロップアウト予測精度を達成し、ARQデータセットにおいて性能の飛躍的向上を実現した。
• BERTベースの意味的符号化により高いコサイン類似度スコアが達成され、COMP1110は他の1000レベルの授業と比較して平均類似度が最高を記録した。
• COMP2100はCOMP1100と0.9479の類似度スコア、COMP1110と0.9543の類似度スコアを示し、強い意味的整合性を示した。
• COMP1100とCOMP2100間の必須関係スコアは13.17に達し、強い依存関係を示した。一方、COMP1110とCOMP2100間のスコアは12.06であり、これも必須関係を確認した。
• COMP1100とCOMP1110間の必須関係スコアは4.4にとどまり、カリキュラム内で階層的ではなく並列的であると示唆された。
• このフレームワークは、COMP2100がCOMP1100およびCOMP1110からの強い必須関係を持つ重要な科目であることを的確に特定し、プログラム構造と整合した。