[논문 리뷰] Sequence Modelling For Analysing Student Interaction with Educational Systems

Christian Hansen, Casper Worm Hansen외 3명|arXiv (Cornell University)|2017. 08. 14.

Online Learning and Analytics인용 수 9

한 줄 요약

이 논문은 교육 시스템 내 학생 상호작용을 여러 마르코프 체인의 분포로 모델링하는 방법을 제안한다. 여기서 각 체인은 별개의 사용 패턴을 나타낸다. 덴마크의 대규모 수학 학습 플랫폼인 Edulab에서 수집한 108만 건의 세션에 대해 수정된 k-means 군집화 알고리즘을 적용하여, 여섯 가지의 기저가 되는 행동 패턴을 식별하였으며, 이 중 125,000건의 세션은 생산적이지 않은 행동을 보였다. 이는 사용자 프로파일링 및 시스템 개선을 위한 단일 체인 모델보다 더 세밀한 대안을 제공한다.

ABSTRACT

The analysis of log data generated by online educational systems is an important task for improving the systems, and furthering our knowledge of how students learn. This paper uses previously unseen log data from Edulab, the largest provider of digital learning for mathematics in Denmark, to analyse the sessions of its users, where 1.08 million student sessions are extracted from a subset of their data. We propose to model students as a distribution of different underlying student behaviours, where the sequence of actions from each session belongs to an underlying student behaviour. We model student behaviour as Markov chains, such that a student is modelled as a distribution of Markov chains, which are estimated using a modified k-means clustering algorithm. The resulting Markov chains are readily interpretable, and in a qualitative analysis around 125,000 student sessions are identified as exhibiting unproductive student behaviour. Based on our results this student representation is promising, especially for educational systems offering many different learning usages, and offers an alternative to common approaches like modelling student behaviour as a single Markov chain often done in the literature.

연구 동기 및 목표

• 복잡한 교육 시스템 내에서 다양한 학생 상호작용 패턴을 포괄하지 못하는 단일 마르코프 체인 모델의 한계를 해결하기 위해.
• 다양한 기저 사용 패턴의 분포로 학생 행동을 모델링하는 가시성 있고 확장 가능한 방법을 개발하기 위해.
• 학습된 마르코프 체인의 정성적 분석을 통해 생산적이지 않거나 최적화되지 않은 학생 행동을 탐지하기 위해.
• 대규모 로그 데이터에서 명확한 행동 군집을 식별함으로써, 더 효과적인 시스템 개선을 가능하게 하기 위해.

제안 방법

• 학습 세션을 행동 시퀀스(예: 수업 시청, 질문 응답 등)로 모델링하며, 각 시퀀스는 기저가 되는 행동 패턴에 속한다.
• 각 학생을 다수의 일계 마르코프 체인에 대한 분포로 표현하며, 각 체인은 별개의 사용 패턴을 기록한다.
• 대규모 데이터셋에서 EM 알고리즘의 느린 수렴을 피하기 위해 수정된 k-means 군집화 알고리즘을 사용하여 군집 중심(마르코프 체인)을 추정한다.
• 전이 확률(예: Qw_c는 질문에 잘못된 답변을 한 경우)을 기반으로 군집 중심을 정의하며, 초기 중심은 도메인 지식 기반 또는 무작위 초기화를 통해 개선한다.
• 실제 Edulab 로그 데이터를 사용하여 군집화를 수행하였으며, 이는 12세에서 14세 학생들의 108만 건의 세션을 포함한다.
• 결과로 도출된 체인에 대한 정성적 분석을 수행하여 행동 패턴을 해석하고, 반복적인 잘못된 답변이나 수업 후 연습 부족과 같은 생산적이지 않은 사용 행동을 탐지한다.

실험 결과

연구 질문

• RQ1 학생들은 다양한 세션 동안 여러 기저 사용 행동 패턴에 대한 분포로 얼마나 잘 모델링될 수 있는가?
• RQ2 단일 체인 모델 대비 다수의 마르코프 체인 혼합 모델링이 행동의 해석 가능성 향상과 생산적이지 않은 행동 탐지에 얼마나 기여하는가?
• RQ3 제안된 군집화 방법은 대규모 교육 로그 데이터에서 명확한 행동 패턴을 효과적으로 식별할 수 있는가?
• RQ4 학습된 마르코프 체인의 정성적 해석을 통해 시스템 설계 및 학생 학습에 대한 어떤 통찰을 도출할 수 있는가?

주요 결과

• 이 방법은 학생 사용 패턴을 나타내는 여섯 가지의 명확한 마르코프 체인을 성공적으로 식별하였으며, 이 중 125,000건의 세션은 생산적이지 않은 행동을 보였다.
• 체인 2는 최적화되지 않은 것으로 특정되었으며, 반복적인 잘못된 답변과 수업 후 연습 부족이 특징이었고, 이는 필수적인 후속 질문 도입 등의 간섭 조치가 필요함을 시사한다.
• 평균적으로 각 학생은 여섯 가지 세션 유형 중 약 3.5개를 이용하며, 이는 학생 당 행동의 다양성이 높음을 보여주며, 다중 체인 모델링의 필요성을 뒷받침한다.
• 체인 간 평균 시퀀스 길이는 26.79에서 44.85 사이로 변동하였으며, 이는 단일 체인이 짧거나 긴 세션만을 포괄하는 것이 아니라 다양한 사용 패턴을 반영하고 있음을 나타낸다.
• 수정된 k-means 접근법은 시뮬레이션 데이터에서 기저의 생성 마르코프 체인을 효과적으로 복원하여, 본 방법이 진정된 행동 패턴을 탐지할 수 있음을 검증한다.
• 학생을 마르코프 체인에 대한 분포로 표현함으로써, 행동의 이탈 탐지 및 개인화된 학습 경로 설정에 표준 머신러닝 기법을 적용할 수 있게 되었다.