[논문 리뷰] Delving Deeper into MOOC Student Dropout Prediction

Jacob Whitehill, Kiran Mohan외 3명|arXiv (Cornell University)|2017. 02. 21.

Online Learning and Analytics참고 문헌 20인용 수 50

한 줄 요약

이 논문은 훈련/테스트 체계가 MOOC 포기 예측 정확도에 어떤 영향을 미치는지 평가하고, 프록시-레이블 인-시투 훈련과 포스트호크를 비교하며, 더 깊은 신경망이 로지스틱 회귀보다 정확도를 향상시킬 수 있음을 보인다.

ABSTRACT

In order to obtain reliable accuracy estimates for automatic MOOC dropout predictors, it is important to train and test them in a manner consistent with how they will be used in practice. Yet most prior research on MOOC dropout prediction has measured test accuracy on the same course used for training the classifier, which can lead to overly optimistic accuracy estimates. In order to understand better how accuracy is affected by the training+testing regime, we compared the accuracy of a standard dropout prediction architecture (clickstream features + logistic regression) across 4 different training paradigms. Results suggest that (1) training and testing on the same course ("post-hoc") can overestimate accuracy by several percentage points; (2) dropout classifiers trained on proxy labels based on students' persistence are surprisingly competitive with post-hoc training (87.33% versus 90.20% AUC averaged over 8 weeks of 40 HarvardX MOOCs); and (3) classifier performance does not vary significantly with the academic discipline. Finally, we also research new dropout prediction architectures based on deep, fully-connected, feed-forward neural networks and find that (4) networks with as many as 5 hidden layers can statistically significantly increase test accuracy over that of logistic regression.

연구 동기 및 목표

• MOOC 맥락에서 훈련/테스트 체계가 포기 예측 정확도에 어떤 영향을 미치는지 평가한다.
• 클릭스트림 특징을 사용하여 포스트호크 훈련, 코스 간 훈련, 그리고 인-시투 프록시-레이블 훈련을 비교한다.
• 다수의 코스에서의 훈련이거나 비슷한 분야의 코스에서의 훈련이 성능에 영향을 미치는지 평가한다.
• 더 깊은 신경망이 로지스틱 회귀보다 포기 예측을 개선하는지 조사한다.
• 실시간 MOOC 개입을 지원하기 위한 신뢰할 수 있는 정확도 추정 지침을 제공한다.

제안 방법

• 인구통계 및 활동을 포함한 73개의 특징에서 추출한 클릭스트림 특징을 사용하여 예측모형을 학습한다.
• 기준모형: 인구통계만 사용한 모형 및 마지막 상호작용일을 기반으로 한 휴리스틱.
• 주요 분류기: L2 정규화 로지스틱 회귀(2층 NN에 해당).
• 네 가지 훈련 패러다임 평가: 동일 코스에서의 포스트호크, 같은 분야 코스에서의 훈련, 다수의 다른 코스에서의 훈련, 그리고 인-시투 프록시-레이블 훈련.
• 각 패러다임에 맞게 학습/검증 특징을 적절히 표준화(특징별 z-점수 또는 인-시투의 백분위 변환).
• 런칭 시점부터 CERT 자격 요건 달성까지의 주에 걸친 AUC를 사용하여 정확도를 측정(T0%에서 T100%).
• Net2Net을 이용한 심층 완전연결 신경망 실험으로 깊이/너비를 로지스틱 회귀와 비교한다.

실험 결과

연구 질문

• RQ1 실제 상황에서 훈련 패러다임의 선택이 MOOC 포기 예측 정확도에 어떤 영향을 미치는가?
• RQ2 완료된 코스의 데이터를 사용하지 않고도 인-시투 프록시-레이블 훈련 방식이 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ3 더 깊은 신경망 구조가 MOOC 포기 예측에서 로지스틱 회귀보다 통계적으로 유의한 향상을 제공하는가?
• RQ4 예측 정확도가 학문 분야 전반에서 견고한가?
• RQ5 현실 배치 적용을 위한 MOOC 포기 예측기 평가에 대한 신뢰할 수 있는 실천 방법은 무엇인가?

주요 결과

• 동일 코스에서의 포스트호크 훈련이 평균 AUC 90.20%로 가장 높다.
• 인-시투 프록시-레이블 훈련은 평균 AUC 87.33%를 달성하여 포스트호크 성능에 근접하며 실시간 배치를 가능하게 한다.
• 다수의 다른 코스에서의 훈련은 평균 AUC 85.56%를 달성, 단일 다른 분야 코스에서의 훈련(76.85%)보다 뛰어나다.
• 기준 인구통계는 예측이 저조하고(58.85% AUC), 마지막 상호작용일 기준은 비교적 양호하게 작동한다(82.45% AUC).
• 더 깊은 신경망(5개의 은닉층, 각 5개 뉴런)이 97.55% AUC를 달성하여 로지스틱 회귀의 97.20%를 약간 앞지른다(p<0.00001).
• 더 깊은 구조는 효율적인 학습 전략(Net2Net)이 필요하며 대규모 MOOC 데이터셋에서 빠르게 학습될 수 있다.