[논문 리뷰] Dropout Prediction over Weeks in MOOCs via Interpretable Multi-Layer Representation Learning

Byungsoo Jeon, Namyong Park외 1명|arXiv (Cornell University)|2020. 02. 05.

Online Learning and Analytics참고 문헌 18인용 수 7

한 줄 요약

이 논문은 주간 클릭스트림 데이터를 기반으로 향후 1주일 이내에 MOOC 학습자가 중도 이탈할지를 예측하기 위해 수정된 브랜치 앤 바운드(BB) 알고리즘을 사용한 해석 가능한 다층 표현 학습 모델을 제안한다. 비지도 학습을 통해 노이즈에 강건하고 고수준의 행동 행동 패턴을 학습함으로써 수동적 특징 공학을 피하고, 복잡한 작업 특화 모델과 비교해도 유사한 성능을 달성하면서도 중도 이탈과 관련된 핵심 행동 패atters를 명확히 해석할 수 있다.

ABSTRACT

Massive Open Online Courses (MOOCs) have become popular platforms for online learning. While MOOCs enable students to study at their own pace, this flexibility makes it easy for students to drop out of class. In this paper, our goal is to predict if a learner is going to drop out within the next week, given clickstream data for the current week. To this end, we present a multi-layer representation learning solution based on branch and bound (BB) algorithm, which learns from low-level clickstreams in an unsupervised manner, produces interpretable results, and avoids manual feature engineering. In experiments on Coursera data, we show that our model learns a representation that allows a simple model to perform similarly well to more complex, task-specific models, and how the BB algorithm enables interpretable results. In our analysis of the observed limitations, we discuss promising future directions.

연구 동기 및 목표

• 주간 클릭스트림 데이터만을 사용하여 MOOC 학습자가 향후 1주일 내에 중도 이탈할지를 예측하기 위해.
• 원시적이고 비정형적인 클릭스트림 데이터에서 의미 있는 노이즈에 강건한 행동 패턴을 추출하는 과제를 해결하기 위해.
• 비지도 학습을 통해 수동적이고 시간이 오래 걸리는 특징 공학에 의존하지 않기 위해.
• 중도 이탈과 가장 관련이 깊은 행동 패턴(예: 앞으로 재생, 뒤로 감기)을 명확히 드러내는 설명 가능한 결과를 생성하기 위해.
• 다양한 클릭스트림 길이와 주간 간 불규칙한 사용자 활동 패턴에 대해 강건한 프레임워크를 개발하기 위해.

제안 방법

• 통계적 유의성과 t-값을 기반으로 상위-k개의 주요 클릭스트림 동작(예: SeekFw, SeekBw, Pause)을 식별하기 위해 수정된 브랜치 앤 바운드(BB) 알고리즘을 적용한다.
• 상위-k개로 순위 매겨진 동작들을 다층 퍼셉트론(MLP)의 입력 특징으로 사용하여 연속된 주간 동안의 맥락 의존적 표현 학습을 수행한다.
• 각 주간 클릭스트림을 순서 구조를 유지하면서 노이즈를 줄인 고수준 행동 동작의 시퀀스로 표현한다.
• MLP-LFR 모델을 비지도 방식으로 학습하여 주간 간 시간적 의존성을 포착하는 표현을 학습한다.
• BB로 식별된 동작들을 통합된 표현으로 통합하여 단순한 모델을 사용한 후속 분류를 지원한다.
• 통계적 검정에서의 t-값과 p-값을 사용하여 학습된 동작의 해석 가능성과 임의의 패턴 감소를 보장한다.

실험 결과

연구 질문

• RQ1 비지도이고 해석 가능한 표현 학습 방법이 주간 클릭스트림 데이터만을 사용하여 MOOC 중도 이탈을 효과적으로 예측할 수 있는가?
• RQ2 상위 순위의 행동 동작(예: 앞으로 재생, 뒤로 감기)은 중도 이탈 위험과 어떻게 관련되어 있으며, 수동 레이블링 없이 신뢰성 있게 추출될 수 있는가?
• RQ3 BB 기반 표현 학습 방법은 복잡한 작업 특화 모델에 비해 중도 이탈 예측 정확도에서 뛰어나거나 동등한 성능을 내는가?
• RQ4 연속된 주간의 시간적 맥락을 고려할 경우 모델의 성능는 어떻게 변화하는가?
• RQ5 클릭스트림 표현의 분석 단위로 '1주'를 사용하는 데에는 어떤 한계가 있는가?

주요 결과

• 비지도 학습 방식으로 학습되었음에도 불구하고 BB 기반 모델은 복잡한 작업 특화 모델과 비교해도 중도 이탈 예측 성능에서 유사한 성능을 달성한다.
• 상위 순위의 동작들—예: SeekFw, SeekBw, Pause—는 강력한 통계적 유의성(p-값 < 5.4e-15)을 보이며 중도 이탈 위험과 일관되게 연관되어 있다.
• MLP-LFR 구성 요소는 성능 향상이 유의미하게 이루어지지 않았으며, 순서 정보 손실 또는 부적절한 시간 단위(주간 집계)로 인한 것으로 보인다.
• 모델는 'SeekFw SeekFw SeekFw SeekFw' 및 'SeekBw SeekBw SeekBw SeekBw'와 같은 시퀀스가 중도 이탈을 매우 잘 예측함을 밝혀내었으며, t-값이 1.6 이상이었다.
• 과도한 앞으로 또는 뒤로 재생 행동과 같은 명확하고 통계적으로 근거가 있는 행동 패턴을 추출함으로써 모델의 해석 가능성은 검증되었다.
• 한계점으로는 비연속적인 주간 처리에 대한 취약성과 개인의 학습 진도를 모델링하지 못함을 지적하며, 행동 표현은 시간 기반 주 단위가 아니라 강의 수준의 진도 기반으로 해야 할 것임을 시사한다.