[論文レビュー] Predicting Louisiana Public High School Dropout through Imbalanced Learning Techniques

Marmar Orooji, Jianhua Chen|arXiv (Cornell University)|Oct 29, 2019

Imbalanced Data Classification Techniques参考文献 9被引用数 5

ひとこと要約

本研究では、ルイジアナ州の公立高校データセット（n > 366k）を用いて、不均衡学習手法—リサンプリング、ケース重み付け、コストセンシティブ学習—を開発および評価し、レアクラス（退学）の予測を改善することを目的としている。これらの手法は、危険にさらされた生徒のリcallを顕著に向上させるが、精度を低下させる。全体として不均衡学習は退学者の検出を向上させるが、リcallを犠牲にせずに精度を向上させるためのさらなる精錬が必要である。

ABSTRACT

This study is motivated by the magnitude of the problem of Louisiana high school dropout and its negative impacts on individual and public well-being. Our goal is to predict students who are at risk of high school dropout, by examining Louisiana administrative dataset. Due to the imbalanced nature of the dataset, imbalanced learning techniques including resampling, case weighting, and cost-sensitive learning have been applied to enhance the prediction performance on the rare class. Performance metrics used in this study are F-measure, recall and precision of the rare class. We compare the performance of several machine learning algorithms such as neural networks, decision trees and bagging trees in combination with the imbalanced learning approaches using an administrative dataset of size of 366k+ from Louisiana Department of Education. Experiments show that application of imbalanced learning methods produces good results on recall but decreases precision, whereas base classifiers without regard of imbalanced data handling gives better precision but poor recall. Overall application of imbalanced learning techniques is beneficial, yet more studies are desired to improve precision.

研究の動機と目的

• ルイジアナ州における高校退学の予測という、個人および公共の福祉に深刻な影響を及える問題に対処すること。
• 不均衡な管理データセットにおけるレアクラス（退学）の機械学習モデルの性能を向上させること。
• リサンプリング、ケース重み付け、コストセンシティブ学習といった不均衡学習手法の退学予測への有効性を評価すること。
• ニューラルネットワーク、決定木、バギングツリーといった複数のベース分類器を、これらの手法と組み合わせて比較すること。

提案手法

• 本研究では、366,000人を超えるルイジアナ州教育局の管理データセット（公立高校生）を用いる。
• クラス不均衡に対処するために、不均衡学習手法が適用される：SMOTEベースのリサンプリング、クラス重み付け、コストセンシティブ学習。
• ニューラルネットワーク、決定木、バギングツリーといった複数の機械学習モデルを、不均衡学習手法を用いる・使わないの両方で訓練および評価する。
• 性能は、レアクラス（退学）のF-measure、リcall、精度で測定される。
• モデルは、人種・性別・学力成績・出席状況などの特徴を含む、歴史的生徒データに基づいて訓練およびテストされる。
• 実験では、アルゴリズムと不均衡学習戦略の異なる組み合わせにおけるモデル性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 実世界の教育データセットにおける不均衡学習手法は、高校退学の予測にどのように影響を与えるか？
• RQ2 ニューラルネットワーク、決定木、バギングツリーのうち、どの機械学習アルゴリズムが不均衡学習手法と組み合わせた場合に、退学予測において最も優れた性能を示すか？
• RQ3 リサンプリング、ケース重み付け、コストセンシティブ学習は、レアクラス（退学）のリcallとF-measureをどの程度向上させるか？
• RQ4 本問題に不均衡学習手法を適用する際、精度とリcallの間にはどのようなトレードオフが生じるか？
• RQ5 標準モデルと比較して、不均衡学習手法は、危険にさらされた生徒の検出を顕著に向上させることができるか？

主な発見

• 不均衡学習手法は、レアクラス（退学）のリcallを顕著に向上させ、危険にさらされた生徒の検出能力が向上していることを示している。
• 不均衡学習手法の適用により、精度が顕著に低下しており、これは誤検出（偽陽性）の増加を示唆している。
• 不均衡データ処理を施さないベース分類器は、高い精度を達成するが、リcallが著しく低いことが明らかとなり、専用手法の必要性が浮き彫りになった。
• 評価されたモデルの中で、バギングツリーに不均衡学習を組み合わせたものが、リcallとF-measureの両立において優れた性能を示した。
• 本研究では、不均衡学習が全体的に有益であることが確認されたが、精度の向上は依然として課題であり、さらなる研究が求められる。
• 結果から、標準モデルではクラス不均衡のため、実際に退学する生徒の多くが検出されないことが明らかとなり、特化したアプローチの必要性が強調された。