[논문 리뷰] Identifying At-Risk K-12 Students in Multimodal Online Environments: A Machine Learning Approach

Hang Li, Wenbiao Ding외 1명|arXiv (Cornell University)|2020. 03. 21.

Online Learning and Analytics참고 문헌 50인용 수 10

한 줄 요약

이 논문은 다중 모odal 온라인 학습 환경에서 수업 내, 수업 외, 시간에 따라 변하는 특징을 통합하여 K-12 학생의 중도 이탈 위험을 식별하기 위한 기계 학습 프레임워크를 제안한다. 클래스 불균형 문제를 해결하기 위해 볼록 가중치를 사용하는 새로운 데이터 증강 기법을 도입하였으며, 제3자 티칭 플랫폼에서의 실제 구현에서 중도 이탈 학생의 70% 이상을 탐지하는 데 성공하였다.

ABSTRACT

With the rapid emergence of K-12 online learning platforms, a new era of education has been opened up. It is crucial to have a dropout warning framework to preemptively identify K-12 students who are at risk of dropping out of the online courses. Prior researchers have focused on predicting dropout in Massive Open Online Courses (MOOCs), which often deliver higher education, i.e., graduate level courses at top institutions. However, few studies have focused on developing a machine learning approach for students in K-12 online courses. In this paper, we develop a machine learning framework to conduct accurate at-risk student identification specialized in K-12 multimodal online environments. Our approach considers both online and offline factors around K-12 students and aims at solving the challenges of (1) multiple modalities, i.e., K-12 online environments involve interactions from different modalities such as video, voice, etc; (2) length variability, i.e., students with different lengths of learning history; (3) time sensitivity, i.e., the dropout likelihood is changing with time; and (4) data imbalance, i.e., only less than 20\% of K-12 students will choose to drop out the class. We conduct a wide range of offline and online experiments to demonstrate the effectiveness of our approach. In our offline experiments, we show that our method improves the dropout prediction performance when compared to state-of-the-art baselines on a real-world educational dataset. In our online experiments, we test our approach on a third-party K-12 online tutoring platform for two months and the results show that more than 70\% of dropout students are detected by the system.

연구 동기 및 목표

• 온라인 학습 환경에서 중도 이탈 비율이 낮지만 영향력이 큰 K-12 학생의 위험도를 조기에 식별할 수 있는 실용적인 경고 시스템을 개발하는 것.
• K-12 온라인 교육에 특화된 핵심 과제를 해결하는 것: 다중 모달 상호작용, 변동하는 학습 시퀀스 길이, 시간 민감도가 높은 중도 이탈 위험, 심각한 클래스 불균형.
• 불균형한 중도 이탈 예측 작업에서 모델 성능을 향상시키기 위해 최근성 인식 가중치를 적용한 데이터 증강 전략을 설계하는 것.
• 실세계 데이터에서 오프라인 평가와 제3자 K-12 티칭 플랫폼에서의 온라인 구현 환경에서의 실전 평가를 통해 프레임워크를 평가하는 것.

제안 방법

• 프레임워크는 세 가지 유형의 특징을 통합한다: 수업 내(예: 영상 및 음성 상호작용), 수업 외(예: 부모와의 소통, 후속 조치), 시간에 따라 변하는(예: 학습 지속 시간, 세션 빈도).
• 새로운 데이터 증강 기법이 도입되었으며, 불균형한 중도 이탈 사례의 가짜 학습 샘플을 생성할 때 최근 관측치에 더 높은 중요도를 할당하기 위해 볼록 가중치 함수를 사용한다.
• 모델은 다단계 향후 예측을 통해 7일 및 14일 예측 기간 동안 중도 이탈 가능성 예측을 수행하여 조기에 개입할 수 있도록 한다.
• 실세계 K-12 교육 데이터 기반 기계 학습 파ipeline을 사용하며, 오프라인 실험에서는 AUC 점수를 사용해 성능을 평가한다.
• 온라인 구현에서는 매일 예측된 중도 이탈 확률에 따라 학생을 순위 매기고 상위 30%를 위험군으로 분류하여 개입 대상으로 표시한다.

실험 결과

연구 질문

• RQ1 수업 내, 수업 외, 시간에 따라 변하는 특징이 온라인 환경에서 K-12 학생의 중도 이탈을 예측하는 데 개별적으로 및 종합적으로 기여하는 정도는 어떻게 되는가?
• RQ2 최근성 인식 데이터 증강 전략은 불균형한 중도 이탈 예측 작업에서 모델 성능을 얼마나 향상시키는가?
• RQ3 실세계 K-12 온라인 학습 데이터 기반 기계 학습 모델이 실전 환경에서 위험군 학생의 높은 탐지율을 달성할 수 있는가?
• RQ4 실세계 데이터에서 제안된 프레임워크는 최신 기준 기준 모델 대비 AUC 성능에서 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 오프라인 실험에서 최신 기준 기준 모델을 크게 능가하며, 모든 특징 유형을 사용할 경우 7일 예측 작업에서 AUC 점수 0.7774를 기록하였다.
• 수업 외 특징만으로도 가장 뛰어난 개별 성능(각각 AUC 0.7768)을 보였으며, 이는 서비스 품질과 외부 상호작용이 중도 이탈 예측에 핵심적인 예측 변수임을 시사한다.
• 데이터 증강을 위한 볼록 가중치 함수는 다른 형태에 비해 크게 뛰어난 성능을 보였으며, 중도 이탈 예측에서 최근성의 중요성을 확인한다.
• 실세계 온라인 구현에서, 상위 30%의 예측 위험 점수를 가진 학생들을 대상으로 표시함으로써 실제로 중도 이탈한 학생의 70% 이상을 탐지하였다.
• 수업 내, 수업 외, 시간에 따라 변하는 특징의 조합은 모든 예측 기간 동안 가장 높은 성능를 보였으며, 이는 다중 모달 통합의 가치를 입증한다.