[논문 리뷰] Mining MOOC Clickstreams: On the Relationship Between Learner Behavior and Performance

Christopher G. Brinton, Swapna Buccapatnam외 2명|arXiv (Cornell University)|2015. 03. 22.

Online Learning and Analytics참고 문헌 20인용 수 18

한 줄 요약

이 논문은 MOOC 영상 시청 클릭스트림을 이벤트 시퀀스와 위치 방문 기반으로 모델링하는 두 가지 프레임워크를 제안하여 학습자 행동과 성과 간의 연관성을 규명한다. 반복되는 행동 모티프를 식별하고, 위치 기반 모델이 특히 저자료 설정에서 Correct on First Attempt (CFA) 예측 정확도와 F1 점수를 크게 향상시킴을 보여준다.

ABSTRACT

We study student behavior and performance in two Massive Open Online Courses (MOOCs). In doing so, we present two frameworks by which video-watching clickstreams can be represented: one based on the sequence of events created, and another on the sequence of positions visited. With the event-based framework, we extract recurring subsequences of student behavior, which contain fundamental characteris- tics such as reflecting (i.e., repeatedly playing and pausing) and revising (i.e., plays and skip backs). We find that some of these behaviors are significantly associated with whether a user will be Correct on First Attempt (CFA) or not in answering quiz questions. With the position-based framework, we then devise models for performance. In evaluating these through CFA prediction, we find that three of them can substantially improve prediction quality in terms of accuracy and F1, which underlines the ability to relate behavior to performance. Since our prediction considers videos individually, these benefits also suggest that our models are useful in situations where there is limited training data, e.g., for early detection or in short courses.

연구 동기 및 목표

• 학생의 MOOC 영상 시청 행동과 성과 간의 관계를 이해하기 위해, 특히 퀴즈 정답 여부와의 연관성을 분석한다.
• 모티프 탐지 알고리즘을 적용하여 클릭스트림 데이터에서 반복되는 행동 패턴(예: 복습, 반성)을 식별한다.
• 기본 모델보다 우수한 성능을 보이는 행동 기반 성과 예측 모델을 개발하며, 특히 훈련 데이터가 제한된 경우에 유의미한 성능 향상을 이룬다.
• 이벤트 중심 모델 대비 위치 기반 클릭스트림 표현 방식이 CFA 결과 예측에 더 효과적인지 평가한다.
• 지식 습득과 연결된 행동 신호를 기반으로 위험에 처한 학습자를 조기에 탐지할 수 있도록 한다.

제안 방법

• 저자는 클릭스트림 데이터를 두 가지 프레임워크로 표현한다: 이벤트의 순서(예: 재생, 일시정지, 스킵) 기반으로 하며, 이때 지속시간은 이산화 처리된다. 또 다른 프레임워크는 방문한 영상 위치의 순서 기반이다.
• 반복적인 이벤트 부분 시퀀스를 추출하기 위해 모티프 식별 알고리즘을 적용하며, 이를 반성 또는 복습과 같은 행동 패턴으로 간주한다.
• 성과 예측을 위해 사용자 행동을 위치 간 전이와 이벤트 간 지속시간으로 인코딩하는 위치 기반 모델을 구축한다.
• 정확도와 F1 점수를 사용하여 성능을 평가하며, 퀴즈 이력만을 사용하는 기준 모델과 비교한다.
• 개별 영상에 대해 모델을 훈련 및 테스트하여, 자료가 적은 상황이나 조기 탐지 시나리오에서의 적용 가능성을 확보한다.
• 식별된 모티프와 CFA 결과 간의 상관관계가 통계적으로 유의미한지 검증하기 위해 통계적 검정을 실시한다.

실험 결과

연구 질문

• RQ1 영상 시청 클릭스트림에서 반복되는 행동 패턴 중 Correct on First Attempt (CFA) 성과와 유의미하게 관련된 것은 무엇인가?
• RQ2 CFA 결과 예측에서 위치 기반 클릭스트림 표현 방식은 이벤트 기반 표현 방식보다 얼마나 우수한가?
• RQ3 평가 이력에만 의존하는 기준 모델보다 행동 기반 모델이 CFA 예측 정확도와 F1 점수를 얼마나 향상시킬 수 있는가?
• RQ4 반복적인 행동 모티프(예: 반성 또는 복습) 중 효과적인 학습이나 지식 정복의 강력한 신호가 되는 것은 무엇인가?
• RQ5 이러한 모델은 저자료 설정, 예를 들어 짧은 강의나 새로운 MOOC에서 얼마나 일반화될 수 있는가?

주요 결과

• 반복되는 행동 모티프(예: 반복적으로 재생하고 일시정지하는 반성, 다시 재생하고 스킵하는 복습)가 CFA 또는 비-CFA 결과와 유의미하게 연관되어 있으며, 이는 직관에 어긋나는 경우조차도 해당됨을 확인했다.
• 세 가지 위치 기반 모델이 기준 모델 대비 CFA 예측 정확도와 F1 점수를 향상시켜, 행동 패턴이 성과 예측에 강력한 예측 변수임을 입증했다.
• 개별 영상에 집중한 경우조차도 이전 연구에서 보고된 바보다 더 높은 향상률(예: 기준 모델 대비 3% 향상)을 기록하여 성능 향상이 엄밀히 높다는 점을 입증했다.
• 저자료 설정에서의 모델 효과성은 어려움을 겪는 학습자를 조기에 탐지하거나 개인화된 콘텐츠 제공에 큰 잠재력을 지닌다는 것을 시사한다.
• 영상 시청 행동, 특히 위치 전이와 이벤트 지속시간 측면에서 지식 습득의 의미 있는 신호가 포함되어 있음을 확인했다.
• 위치 기반 프레임워크는 이벤트 중심 모델보다 더 정교한 학습 역학(예: 특정 영상 세그먼트에서 머무는 시간)을 포착하여 우수한 성능을 보였다.