[논문 리뷰] Mining MOOC Clickstreams: On the Relationship Between Learner Video-Watching Behavior and Performance.

Christopher G. Brinton, Swapna Buccapatnam외 2명|arXiv (Cornell University)|2015. 03. 22.

Online Learning and Analytics참고 문헌 20인용 수 13

한 줄 요약

이 논문은 MOOC 수강자의 영상 시청 행동을 모델링하고 퀴즈 문제에 대한 성과를 예측하기 위해 이벤트 기반 및 위치 기반 두 가지 클릭스트림 프레임워크를 제안한다. 반복되는 행동 패턴, 예를 들어 반성하거나 복습하는 행동이 첫 번째 시도에서 정답일 경우와 관련이 있으며, 특히 자료가 부족한 환경(예: 짧은 과정 또는 조기 탐지)에서 위치 기반 모델이 CFA 예측 정확도와 F1 점수를 향상시킨다.

ABSTRACT

We study student behavior and performance in two Massive Open Online Courses (MOOCs). In doing so, we present two frameworks by which video-watching clickstreams can be represented: one based on the sequence of events created, and another on the sequence of positions visited. With the event-based framework, we extract recurring subsequences of student behavior, which contain fundamental characteris- tics such as reflecting (i.e., repeatedly playing and pausing) and revising (i.e., plays and skip backs). We find that some of these behaviors are significantly associated with whether a user will be Correct on First Attempt (CFA) or not in answering quiz questions. With the position-based framework, we then devise models for performance. In evaluating these through CFA prediction, we find that three of them can substantially improve prediction quality in terms of accuracy and F1, which underlines the ability to relate behavior to performance. Since our prediction considers videos individually, these benefits also suggest that our models are useful in situations where there is limited training data, e.g., for early detection or in short courses.

연구 동기 및 목표

• MOOC에서 수강자의 영상 시청 행동이 퀴즈 문제 성과와 어떻게 관련되어 있는지 이해하는 것.
• 특히 짧거나 초기 단계의 과정에서와 같이 훈련 데이터가 제한된 상황에서 수강자의 성과를 예측하는 데 도전하는 것.
• 성과 모델링을 위해 클릭스트림 데이터 내의 의미 있는 패턴을 포착하는 행동 표현 프레임워크를 개발하는 것.
• 클릭스트림에서 추출한 행동 특징이 Correct on First Attempt (CFA) 결과 예측에 어떻게 기여할 수 있는지 평가하는 것.

제안 방법

• 이벤트 기반 프레임워크는 클릭스트림 데이터를 (예: 재생, 일시정지, 스킵 등) 행동의 시퀀스로 모델링하며, 반복적인 부분 시퀀스를 추출하여 반성이나 복습과 같은 행동을 표현한다.
• 위치 기반 프레임워크는 영상 시청을 재생 위치의 시퀀스로 표현하여 학습자 진행 상황과 재시청 패턴을 모델링할 수 있도록 한다.
• 행동 부분 시퀀스는 시퀀스 마이닝 기법을 사용하여 반복 재생이나 뒤로 이동과 같은 패턴을 탐지한다.
• 성과 예측 모델은 위치 기반 표현을 기반으로 구축되며, 행동 특징을 포함하여 CFA 결과를 예측한다.
• 기본 모델 대비 성능 향상을 평가하기 위해 CFA 예측 작업에서 표준 지표(정확도 및 F1)를 사용하여 모델을 평가한다.
• 이 방법은 훈련 데이터가 제한된 상황에서도 효과적으로 작동하도록 설계되어 있으며, 조기 탐지 및 짧은 과정에의 적용을 지원한다.

실험 결과

연구 질문

• RQ1 반복적인 영상 시청 행동 패턴, 예를 들어 반성 또는 복습과 같은 행동이 Correct on First Attempt (CFA) 성과와 유의미하게 관련되어 있는가?
• RQ2 클릭스트림 데이터를 어떻게 효과적으로 표현하여 MOOC 영상 소비에서 의미 있는 학습자 행동을 포착할 수 있는가?
• RQ3 행동 기반 모델이 기본 모델 대비 CFA 결과 예측에 얼마나 향상시킬 수 있는가?
• RQ4 제안된 모델은 짧은 과정이나 조기 탐지와 같은 낮은 데이터 환경에서도 높은 성능을 유지할 수 있는가?

주요 결과

• 반복적인 행동 패턴, 예를 들어 반복적으로 재생하고 일시정지하는 반성 또는 뒤로 스킵하면서 재생하는 복습 행동이 학습자가 첫 시도에 문제를 정답으로 맞출 가능성을 유의미하게 높인다.
• 위치 기반 성과 예측 모델 중 3개가 기본 모델 대비 정확도와 F1 점수에서 상당한 향상을 보였다.
• 향상된 예측 품질은 영상 시청 행동이 성과 추정에 의미 있는 신호를 담고 있음을 시사한다.
• 낮은 데이터 환경에서의 모델 효과성은 조기 성과 탐지 및 짧거나 신규 MOOC에의 적용 잠재력이 높음을 시사한다.
• 이벤트 기반 프레임워크는 학습 결과와 관련된 기본 행동 특성을 성공적으로 식별한다.
• 위치 기반 모델링 접근법은 정확도 높은 개별 영상 수준의 성과 예측을 가능하게 하여 해석 가능성과 실용적 유용성을 향상시킨다.