[논문 리뷰] Dropout Prediction over Weeks in MOOCs by Learning Representations of Clicks and Videos

Byungsoo Jeon, Namyong Park|arXiv (Cornell University)|2020. 02. 05.

Online Learning and Analytics참고 문헌 17인용 수 8

한 줄 요약

이 논문은 비지도 사전학습을 통해 클릭스트림 데이터와 영상 콘텐츠의 통합 표현을 학습하는 MOOC용 드롭아웃 예측 모델을 제안한다. 클릭 n-그램과 영상 간의 상관관계를 모델링함으로써, 기준 클릭 전용 모델 대비 78.4% AUC를 달성하여 크게 향상되었으며, 클릭 n-그램의 사전학습이 유익하고, 영상 임베딩이 추가적인 성능 향상을 제공한다.

ABSTRACT

This paper addresses a key challenge in MOOC dropout prediction, namely to build meaningful representations from clickstream data. While a variety of feature extraction techniques have been explored extensively for such purposes, to our knowledge, no prior works have explored modeling of educational content (e.g. video) and their correlation with the learner's behavior (e.g. clickstream) in this context. We bridge this gap by devising a method to learn representation for videos and the correlation between videos and clicks. The results indicate that modeling videos and their correlation with clicks bring statistically significant improvements in predicting dropout.

연구 동기 및 목표

• 학습자 클릭스트림 행동과 교육용 영상 콘텐츠 간의 상관관계를 포착하여 MOOC에서의 드롭아웃 예측을 향상시키기.
• 수동으로 설계된 특징과 엔드 투 엔드 모델이 클릭스트림 데이터 내의 의미 있는 시간적 및 콘텐츠 특화 패턴을 간과하는 한계를 해결하기.
• 클릭 시퀀스와 영상 콘텐츠를 동시에 모델링하는 비지도 표현 학습 프레임워크를 개발하여 드롭아웃 예측에서의 일반화 능력을 향상시키기.
• 클릭스트림 데이터로부터 사전학습된 영상 임베딩이 최종 예측 성능을 향상시키는지 조사하기.
• 플랫폼에 종속되지 않고 해석 가능하며 시간적 인식 능력을 갖춘 학습자 행동과 콘텐츠 특성의 표현 제공하기.

제안 방법

• 비지도 사전학습 목표를 사용하여 클릭 n-그램과 영상에 대한 표현을 학습하는 듀얼 인코더 아키텍처를 제안한다.
• GRU 기반 모델을 사용해 순차적 클릭 n-그램을 고정 길이 벡터로 인코딩하며, 주변 클릭 n-그램의 마스킹 예측을 통한 사전학습을 수행한다.
• 컨텍스트 윈도우 간의 일치도를 최대화함으로써 클릭 n-그램 표현을 학습하기 위해 대비 학습 목표를 적용한다.
• 클릭 n-그램 시퀀스에서 영상 레이블을 예측하는 분류기 학습을 통해 영상 임베딩을 사전학습하고, 최종 레이어의 argmax를 통해 최적의 영상 표현을 선택한다.
• 사전학습된 클릭 n-그램과 영상 임베딩을 GRU와 최종 분류 레이어를 사용해 통합된 드롭아웃 예측 모델로 조합한다.
• 사전학습 단계 모두에 교차 엔트로피 손실을 사용한다: 하나는 클릭 n-그램 재구성에 대해, 다른 하나는 영상 레이블 예측에 대해.

실험 결과

연구 질문

• RQ1 학습자 클릭스트림 행동과 영상 콘텐츠 간의 상관관계를 모델링하면 MOOC에서의 드롭아웃 예측 성능이 향상되는가?
• RQ2 클릭 n-그램 표현의 비지도 사전학습이 의미 있는 시간적 패턴을 포착하여 예측 성능 향상에 기여하는가?
• RQ3 클릭스트림 데이터만으로도 효과적으로 영상 임베딩을 학습할 수 있으며, 드롭아웃 예측 성능 향상에 기여하는가?
• RQ4 영상 표현의 포함 여부에 따라 클릭 전용 모델 대비 AUC 향상 수준은 어떻게 비교되는가?
• RQ5 사전학습된 클릭 n-그램 임베딩과 함께 영상 임베딩의 성능 향상 효과가 견고한가?

주요 결과

• 클릭 n-그램 임베딩의 사전학습은 통계적으로 유의미한 AUC 향상을 이끌어내며, 0.740에서 0.757로 상승 (p < 0.05)하여 학습된 시간 패턴의 가치를 입증한다.
• 사전학습된 클릭 n-그램 모델에 영상 임베딩을 추가하면 AUC가 0.784로 상승하여 영상 콘텐츠 상관관계가 예측 성능 향상에 기여함을 보여준다.
• 클릭 및 영상 임베딩 모두를 사전학습할 경우 더 이상 향상이 관찰되지 않으며(AUC 0.783), 현재 목표 하에서 영상 사전학습이 추가 가치를 제공하지 않는 것으로 나타났다.
• 영상 사전학습에서의 향상이 없음은 현재의 레이블 예측 목표로는 클릭스트림 데이터가 너무 노이즈가 많거나 충분하지 않아 표현력 있는 영상 표현을 학습하기 어려운 것으로 나타났다.
• 사전학습된 클릭 n-그램과 비사전학습된 영상 임베딩을 조합했을 때 모델은 최신 기술 수준의 AUC 0.784를 달성하며, 모든 기준 모델을 능가한다.
• 결과는 학습자 행동과 콘텐츠 특성 간의 상호작용을 모델링하는 것이 행동이나 콘텐츠를 별개로 모델링하는 것보다 더 효과적임을 확인한다.