[논문 리뷰] Predicting Louisiana Public High School Dropout through Imbalanced Learning Techniques

Marmar Orooji, Jianhua Chen|arXiv (Cornell University)|2019. 10. 29.

Imbalanced Data Classification Techniques참고 문헌 9인용 수 5

한 줄 요약

이 연구는 루이지애나 주 공립 고등학교 데이터셋(n > 366만)을 대상으로 불균형 학습 기법—재표본화, 케이스 가중치, 비용 감수성 학습—을 개발하고 평가하여 희귀 클래스인 학생 중퇴 예측을 향상시키고자 한다. 이러한 방법들은 위험에 처한 학생들의 재현율을 크게 향상시키지만 정밀도는 감소시킨다. 종합적으로 볼 때 불균형 학습은 중퇴자 탐지 능력을 향상시키지만, 재현율을 희생시키지 않으면서 정밀도를 향상시키기 위한 추가 보완이 필요하다.

ABSTRACT

This study is motivated by the magnitude of the problem of Louisiana high school dropout and its negative impacts on individual and public well-being. Our goal is to predict students who are at risk of high school dropout, by examining Louisiana administrative dataset. Due to the imbalanced nature of the dataset, imbalanced learning techniques including resampling, case weighting, and cost-sensitive learning have been applied to enhance the prediction performance on the rare class. Performance metrics used in this study are F-measure, recall and precision of the rare class. We compare the performance of several machine learning algorithms such as neural networks, decision trees and bagging trees in combination with the imbalanced learning approaches using an administrative dataset of size of 366k+ from Louisiana Department of Education. Experiments show that application of imbalanced learning methods produces good results on recall but decreases precision, whereas base classifiers without regard of imbalanced data handling gives better precision but poor recall. Overall application of imbalanced learning techniques is beneficial, yet more studies are desired to improve precision.

연구 동기 및 목표

• 루이지애나 주에서 고등학교 중퇴를 예측하는 데 있어 개인 및 공공 복지에 영향을 미치는 중요한 문제를 다루기 위해.
• 불균형 행정 데이터셋에서 희귀 클래스(중퇴)에 대한 기계학습 모델 성능을 향상시키기 위해.
• 재표본화, 케이스 가중치, 비용 감수성 학습 등의 불균형 학습 기법이 중퇴 예측에 얼마나 효과적인지 평가하기 위해.
• 신경망, 의사결정나무, 배깅 트리 등의 다양한 기본 분류기들을 이 기법들과 조합하여 비교하기 위해.

제안 방법

• 이 연구는 루이지애나 주 교육부가 제공한 366,000명 이상의 공립 고등학교 학생을 대상으로 한 관리 데이터셋을 사용한다.
• 클래스 불균형 문제를 해결하기 위해 SMOTE 기반 재표본화, 클래스 가중치, 비용 감수성 학습 등의 불균형 학습 기법을 적용한다.
• 신경망, 의사결정나무, 배깅 트리 등의 다양한 기계학습 모델을 불균형 학습 기법을 적용하거나 적용하지 않은 상태에서 훈련하고 평가한다.
• 성능 평가 기준으로는 희귀 클래스(중퇴)에 대해 F-측정, 재현율, 정밀도를 사용한다.
• 모델들은 인구통계학적, 학업 성취도, 출석 기록 등의 특징을 포함한 이전 학생 데이터를 기반으로 훈련 및 테스트한다.
• 다양한 알고리즘과 불균형 학습 전략의 조합에 따른 모델 성능을 비교하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 실제 교육 데이터셋에서 불균형 학습 기법이 고등학교 중퇴 예측에 어떤 영향을 미치는가?
• RQ2 신경망, 의사결정나무, 배깅 트리 중 어떤 기계학습 알고리즘이 불균형 학습 기법과 조합했을 때 중퇴 예측에서 가장 우수한 성능을 보이는가?
• RQ3 재표본화, 케이스 가중치, 비용 감수성 학습이 희귀한 중퇴 클래스의 재현율과 F-측정을 얼마나 향상시키는가?
• RQ4 이 문제에 불균형 학습 기법을 적용할 경우 정밀도와 재현율 사이에 어떤 상충 관계가 존재하는가?
• RQ5 표준 모델 대비 불균형 학습 기법이 위험에 처한 학생들을 상당히 향상시킬 수 있는가?

주요 결과

• 불균형 학습 기법은 희귀한 중퇴 클래스에 대해 재현율을 크게 향상시켜 위험에 처한 학생들을 더 잘 탐지할 수 있음을 시사한다.
• 불균형 학습 기법을 적용할 경우 정밀도가 뚜렷이 감소하여 가짜 양성 사례가 증가함을 나타낸다.
• 불균형 데이터 처리를 하지 않은 기본 분류기들은 더 높은 정밀도를 기록하지만 재현율이 낮아, 전용 기법의 필요성을 강조한다.
• 평가된 모델들 중에서 불균형 학습과 조합한 배깅 트리가 재현율과 F-측정을 잘 균형 잡은 성능을 보였다.
• 이 연구는 불균형 학습이 종합적으로 유익하지만 정밀도 향상 문제는 여전히 연구가 필요하다고 확인한다.
• 결과는 표준 모델이 클래스 불균형으로 인해 실제 중퇴자 대부분을 탐지하지 못함을 보여주며, 맞춤형 접근의 필요성을 강조한다.