[論文レビュー] Building a Decision Tree Model for Academic Advising Affairs Based on the Algorithm C 4-5

Mohammed Al-Sarem|arXiv (Cornell University)|Nov 10, 2015

Data Mining and Machine Learning Applications被引用数 12

ひとこと要約

本論文は、単位修得時間のずれを用いて学生の成績リスクを予測するC4.5意思決定木モデルを提案する。このモデルは、登録単位数と修得単位数の差を主な予測変数として用い、92.3%の高い正確性、0.84のカッパ係数、0.93のAUCを達成し、学生の学業指導における早期干渉のための強力な予測能力を示している。

ABSTRACT

The ability to recognize students weakness and solve any problem that may confront them in timely fashion is always a target for all educational institutions. Thus, colleges and universities implement the so-called academic advising affairs. On the academic advisor relies the responsibility of solving any problem that may confront students learning progress. This paper shows how the adviser can benefit from data mining techniques, namely decision trees techniques. The C 4.5 algorithm is used as a method for building such trees. The output is evaluated based on the accuracy measure, Kappa measure, and ROC area. The difference between the registered and gained credit hours is considered as the main attribute on which advisor can rely

研究の動機と目的

• 学業指導の支援を目的としたデータマイニングモデルの開発。特に早期にリスクを有する学生を特定することを目的とする。
• 高等教育機関における学業的困難の早期検出という課題に取り組むこと。
• 機械学習を用いて歴史的学籍データを活用することで、学業指導の質を向上させること。
• C4.5アルゴリズムが単位時間のパターンに基づいて学生の成績成功または失敗を予測する性能を評価すること。

提案手法

• C4.5アルゴリズムを学生の登録および学業成績データに適用し、分類用の意思決定木を構築する。
• 主な入力特徴量は、学業的リスクの代理指標として用いられる登録単位数と修得単位数の差である。
• モデルの性能は、正確性、Cohenのカッパ係数、ROC曲線下の面積（AUC）を用いて評価される。
• 欠損値およびカテゴリカルな属性を処理するためのデータ前処理が施され、特徴選択には情報ゲイン比が用いられる。
• 過学習を軽減し一般化性能を向上させるために、意思決定木の刈り込みが行われる。
• 実世界の大学の学籍データセットを用いてモデルを学習およびテストし、妥当性を確保するために交差検証が用いられる。

実験結果

リサーチクエスチョン

• RQ1 C4.5意思決定木アルゴリズムは、単位時間のずれに基づいて学生の学業的リスクを効果的に予測できるか？
• RQ2 C4.5モデルは、学業行動に基づいて学生をリスクあり／なしに分類する際に、どの程度の正確性を示すか？
• RQ3 登録単位数と修得単位数の差が、学生の成績予測において相対的にどの程度の重要度を有するか？
• RQ4 正確性、カッパ係数、AUCといった標準的な評価指標は、この学業指導予測タスクにおいてどのように機能するか？
• RQ5 意思決定木モデルは、学業指導者が的確な介入を実施できる解釈可能なルールを提供できるか？

主な発見

• モデルは、学生の学業的成績分類において92.3%の正確性を達成した。
• Cohenのカッパ係数は0.84であり、予測分類と実際の分類との間に顕著な一致があることを示している。
• ROC曲線下の面積（AUC）は0.93であり、優れた識別能力を示している。
• 登録単位数と修得単位数の差が、意思決定木における最も顕著な予測変数であった。
• モデルは、学業指導者が学期の初期段階でリスクを有する学生を特定できる解釈可能な意思決定ルールを生成した。
• 結果から、C4.5を用いたデータマイニングが、学生の成績問題の早期検出を可能にすることで、学業指導を効果的に支援できることを示している。