[논문 리뷰] Time Series Analysis of Clickstream Logs from Online Courses

Yohan Jo, Keith Maki외 1명|arXiv (Cornell University)|2018. 09. 11.

Online Learning and Analytics참고 문헌 16인용 수 7

한 줄 요약

이 논문은 온라인 강좌의 클릭스트림 로그에 대한 시계열 분석을 제안하여 학생 행동을 모델링하고, LSTM 및 그래픽 모델을 사용해 최종 성적을 예측한다. 순차적 클릭 패턴을 통합할 경우 정적 특징에 비해 예측 정확도가 크게 향상되며, LSTMs가 베이스라인을 능가하고 다양한 강좌 간 일반화 능력을 보인다.

ABSTRACT

Due to the rapidly rising popularity of Massive Open Online Courses (MOOCs), there is a growing demand for scalable automated support technologies for student learning. Transferring traditional educational resources to online contexts has become an increasingly relevant problem in recent years. For learning science theories to be applicable, educators need a way to identify learning behaviors of students which contribute to learning outcomes, and use them to design and provide personalized intervention support to the students. Click logs are an important source of information about students' learning behaviors, however current literature has limited understanding of how these behaviors are represented within click logs. In this project, we have exploited the temporal dynamics of student behaviors both to do behavior modeling via graphical modeling approaches and to do performance prediction via recurrent neural network approaches in order to first identify student behaviors and then use them to predict their final outcome in the course. Our experiments showed that the long short-term memory (LSTM) model is capable of learning long-term dependencies in a sequence and outperforms other strong baselines in the prediction task. Further, these sequential approaches to click log analysis can be successfully imported to other courses when used with results obtained from graphical model behavior modeling.

연구 동기 및 목표

• 정적 및 동적 클러스터링 접근 방식을 사용해 온라인 강좌의 클릭스트림 로그에서 학생 학습 행동을 모델링한다.
• 비순차적 방법에 비해 클릭 시퀀스의 시간적 동적 특성이 최종 강좌 성적 예측에 얼마나 기여하는지 조사한다.
• 다양한 MOOC에서 일반화 가능한 강의 무관 행동 표현 방식을 개발한다.
• 성과가 높은 학생과 낮은 학생 간 순차적 행동의 주요 차이점을 규명한다.
• 딥 러닝(LSTM)과 전통적 모델이 학생 클릭 시퀀스의 장기적 의존성을 얼마나 잘 포착하는지 평가한다.

제안 방법

• 클릭 세그먼트를 행동 상태로 클러스터링하기 위해 다항 혼합 모델(MMM)과 은닉 마르코프 모델(HMM)을 사용하여 정적 및 동적 패턴을 모두 모델링한다.
• 장기 기억을 가지는 순환 신경망(LSTM)을 활용해 클릭 시퀀스의 시간적 의존성을 모델링하고 성과 예측을 수행한다.
• 클릭 패턴에서 파생된 특징을 사용해 순차적 인식 모델(LSTM, HMM)과 순차적 무관 모델(SVM, MLP, MMM)을 비교한다.
• HMM과 MMM에서 상태 수준의 특징을 추출하여 학생 행동을 표현함으로써 다양한 강좌 간 일반화를 가능하게 한다.
• 강의의 클릭 수와 상태 수가 다른 두 개의 Coursera 강좌(대수학 및 미적분학)에서 모델을 평가하여 탄력성과 일반화 능력을 점검한다.
• 모델 간 비교를 위한 주요 평가 지표로 분류 성능(F1-score)을 사용하며, 다양한 특징 세트와 시퀀스 길이에서의 성능을 분석한다.

실험 결과

연구 질문

• RQ1 학생 클릭스트림 시퀀스의 시간적 동적 특성을 효과적으로 모델링하여 온라인 강좌의 성과 예측 성능을 향상시킬 수 있는가?
• RQ2 LSTM과 같은 순차적 인식 모델은 비순차적 모델(SVM, MLP 등)에 비해 최종 강좌 성적 예측에서 얼마나 우수한가?
• RQ3 한 강좌에서 학습한 행동 패턴이 다른 강좌로 얼마나 일반화되는가?
• RQ4 온라인 학습 환경에서 성과가 높은 학생과 낮은 학생 간의 주요 순차적 행동 차이는 무엇인가?
• RQ5 원시 클릭 특징에 비해 HMM, MMM와 같은 그래픽 모델이 교차 강좌 일반화를 위해 더 나은 행동 표현을 제공하는가?

주요 결과

• LSTM 모델은 모든 강력한 베이스라인을 능가하며 최종 강좌 성적 예측 성능을 확보했으며, 미적분학 강좌에서는 F1-score 89.46, 대수학 강좌에서는 88.26을 기록했다.
• 순차적 인식 모델(LSTM, HMM)은 분류 정확도와 강좌 간 일반화 능력에서 순차적 무관 모델(SVM, MLP)을 뚜렷이 앞서간다.
• LSTM 모델은 다른 강좌로의 일반화 능력이 뛰어나 한 강좌에서 학습한 후 다른 강좌에서 테스트할 경우 성능이 향상되며, 학습된 순차적 패턴의 이식 가능성을 보여준다.
• 최종 성적이 높은 학생은 포럼에 적극적으로 참여하고 시험 문제를 제출하는 반면, 성적이 낮은 학생은 시험을 완료하지 않고 강의를 시청하거나 다운로드하는 경향이 있다.
• 원시 클릭 특징은 가장 정보가 많지만 강좌에 특화되어 있으며, 클릭 카테고리는 일반화 가능하지만 예측력은 떨어지므로 시간적 모델링의 가치가 높다.
• 클릭 시퀀스의 시간 정보를 활용하면 정적 클릭 수나 카테고리 특징만으로는 포착되지 않는 성과 관련 동적 특징을 효과적으로 반영한다.