[논문 리뷰] Modelling Student Behavior using Granular Large Scale Action Data from a MOOC

Steven Tang, Joshua C. Peterson외 1명|arXiv (Cornell University)|2016. 08. 16.

Online Learning and Analytics참고 문헌 10인용 수 14

한 줄 요약

이 논문은 자격증을 취득한 학습자들로부터의 세분화되고 순차적인 상호작용 데이터를 기반으로, MOOC에서 학습자의 행동을 예측하기 위해 n-gram 및 LSTM 모델을 제안한다. 최고의 LSTM 모델은 다음 학습자 행동을 예측하는 데 72.2%의 정확도를 달성하였으며, 이는 n-gram(70.4%)과 교과과정 기반 예측(23%)을 능가하는 성능이다. 이는 성공적인 학습자들의 행동 패턴이 디지털 교육에서 개인화된 추천 시스템을 설계하는 데 유용하다는 것을 보여준다.

ABSTRACT

Digital learning environments generate a precise record of the actions learners take as they interact with learning materials and complete exercises towards comprehension. With this high quantity of sequential data comes the potential to apply time series models to learn about underlying behavioral patterns and trends that characterize successful learning based on the granular record of student actions. There exist several methods for looking at longitudinal, sequential data like those recorded from learning environments. In the field of language modelling, traditional n-gram techniques and modern recurrent neural network (RNN) approaches have been applied to algorithmically find structure in language and predict the next word given the previous words in the sentence or paragraph as input. In this paper, we draw an analogy to this work by treating student sequences of resource views and interactions in a MOOC as the inputs and predicting students' next interaction as outputs. In this study, we train only on students who received a certificate of completion. In doing so, the model could potentially be used for recommendation of sequences eventually leading to success, as opposed to perpetuating unproductive behavior. Given that the MOOC used in our study had over 3,500 unique resources, predicting the exact resource that a student will interact with next might appear to be a difficult classification problem. We find that simply following the syllabus (built-in structure of the course) gives on average 23% accuracy in making this prediction, followed by the n-gram method with 70.4%, and RNN based methods with 72.2%. This research lays the ground work for recommendation in a MOOC and other digital learning environments where high volumes of sequential data exist.

연구 동기 및 목표

• 평가 기반 지식 추적을 넘어서 세분화되고 순차적인 행동 데이터를 활용하여 MOOC에서 학습자의 행동을 모델링하기 위해.
• MOOC를 성공적으로 수료한 학습자들 사이에서의 탐색 패턴을 규명하기 위해.
• 이전 행동을 바탕으로 다음 학습자 행동을 예측하는 생성 모델을 개발하여 자동화된 추천 시스템에 활용하기 위해.
• 대규모 MOOC 환경에서 n-gram 및 LSTM 모델의 성능을 비교하기 위해.
• 자격증을 취득한 학습자 데이터로 훈련된 모델이 자격증을 취득하지 않은 학습자의 행동을 일반화하여 예측할 수 있는지 평가하고, 행동 차이를 드러내기 위해.

제안 방법

• 연구는 한 개의 MOOC에서 수집한 1,100만 건이 넘는 학습자 행동 데이터 세트를 사용한다. 이는 영상 시청, 퀴즈 상호작용, 포럼 활동 등을 포함한다.
• 성공적인 학습 행동을 모델링하기 위해 자격증을 취득한 학습자들만 훈련에 사용된다.
• n-gram 모델은 이전 n개의 행동을 기반으로 다음 행동을 예측하며, n은 최대 10까지 가능하다. 빈도 기반 확률 추정을 사용한다.
• LSTM 기반 순환 신경망은 순차적인 행동 이력 처리를 통해 행동의 장기적 의존성을 학습하고 다음 행동을 예측한다.
• 모델 평가는 자격증을 취득한 학습자들을 대상으로 10겹 교차검증을 실시하고, 최소 30개 이상의 행동을 가진 검증용 비자격증 학습자 집합에서 테스트한다.
• 하이퍼파rameter 튜닝은 학습률, LSTM 레이어 수, 히든 유닛 수를 포함하며, 최고의 모델은 72.2%의 정확도를 달성하였다.

실험 결과

연구 질문

• RQ1 n-gram 및 LSTM과 같은 순차 모델이 이전 행동을 바탕으로 MOOC에서 다음 학습자 행동을 효과적으로 예측할 수 있는가?
• RQ2 대규모 교육 환경에서 LSTM 모델의 성능이 n-gram 모델에 비해 어떻게 다른가?
• RQ3 성공적인 학습자들이 무작위 또는 비구조적인 행동과 비교해 얼마나 체계적인 탐색 패턴을 따르는가?
• RQ4 자격증을 취득한 학습자 데이터로 훈련된 모델이 자격증을 취득하지 않은 학습자의 행동을 일반화하여 예측할 수 있으며, 이는 행동 차이를 어떻게 드러내는가?
• RQ5 예를 들어 10-그램과 같은 더 긴 컨텍스트 윈도우가 학습자 행동 모델링의 정확도에 기여하는 정도는 어느 정도인가?

주요 결과

• 최고의 LSTM 모델은 다음 학습자 행동 예측에 대해 교차검증 정확도 72.23%를 기록하였으며, 이는 n-gram 모델의 70.35% 정확도를 뛰어넘는 성능이다.
• 10-그램을 사용한 n-gram 모델은 전체 예측의 62% 이상을 차지하여 성공적인 학습자들이 장기적인 순차 패턴에 크게 의존하고 있음을 시사한다.
• 교과과정 기반 예측은 오직 23%의 정확도를 기록하여, 성공적인 탐색이 엄격한 선형적 강의 구조에서 벗어나 있음을 강조한다.
• LSTM 모델은 자격증을 취득하지 않은 학습자(최소 30개 행동 이상)에 대해 67.09%의 정확도를 기록한 반면, 자격증을 취득한 학습자에 대해서는 70.93%의 정확도를 기록하여 성공자와 비성공자 간의 행동 패턴 차이를 시사한다.
• 모델 불일치 분석 결과, LSTM과 n-gram 모델은 7,565,862건의 정확한 예측에서 일치했으며, 각각 577,683건과 367,960건의 오류 예측을 하였다. 이는 두 모델이 상호보완적인 강점을 지닌다는 것을 시사한다.
• 더 큰 n-gram 모델로 갈수록 예측에 사용되는 데이터 포인트 수가 약 6% 감소하는 것으로 나타나, 일정 길이 이상의 컨텍스트 길이에서는 수익 감소 현상이 나타남을 시사한다.