[논문 리뷰] Your click decides your fate: Inferring Information Processing and Attrition Behavior from MOOC Video Clickstream Interactions

Tanmay Sinha, Patrick Jermann외 2명|arXiv (Cornell University)|2014. 07. 26.

Online Learning and Analytics인용 수 5

한 줄 요약

이 논문은 인지심리학에 영감을 받은 정보 처리 지수(IPI)를 제안하여 MOOC 영상 클릭스트림 데이터로부터 학생의 참여도를 정량화하고 이탈 가능성을 예측한다. 클릭 행동을 고차원적 인지 상태로 모델링함으로써 IPI는 높은 참여도와 낮은 참여도 학생을 효과적으로 구분하며, 높은 IPI는 이탈 위험을 33% 감소시키고 전체 과정 이탈 가능성은 37% 감소시킨다.

ABSTRACT

In this work, we explore video lecture interaction in Massive Open Online Courses (MOOCs), which is central to student learning experience on these educational platforms. As a research contribution, we operationalize video lecture clickstreams of students into cognitively plausible higher level behaviors, and construct a quantitative information processing index, which can aid instructors to better understand MOOC hurdles and reason about unsatisfactory learning outcomes. Our results illustrate how such a metric inspired by cognitive psychology can help answer critical questions regarding students' engagement, their future click interactions and participation trajectories that lead to in-video & course dropouts. Implications for research and practice are discussed

연구 동기 및 목표

• 학생들이 MOOC 영상 강의 동안 정보를 어떻게 처리하는지 클릭스트림 상호작용을 분석하여 이해하기.
• MOOC에서 높은 이탈률 문제를 해결하기 위해 클릭스트림 데이터를 활용해 학생 이탈의 조기 행동 지표를 특정하기.
• 계산적으로 단순하면서도 효과적인 지표인 정보 처리 지수(IPI)를 개발하여 인지적 참여도와 학습 지속성을 반영하기.
• 강사가 실시간 영상 상호작용 패tern을 기반으로 학생의 이탈 경로를 예측하고 개별 맞춤형 개입을 제공할 수 있도록 하기.
• 저수준의 클릭 행동을 더 구체적인 인지적으로 타당한 고차원적 시청 상태로 변환하여 학습 분석의 정교함을 향상시키기.

제안 방법

• 반복적인 상호작용 패턴을 기반으로 원시 영상 클릭스트림 데이터를 고차원적 인지적 영상 시청 상태로 변환하기.
• 정보 처리 지수(IPI)를 플레이/일시정지, 스킵, 뒤로감기, 앞으로감기 등의 핵심 클릭 행동의 선형 가중합으로 정의하기.
• 계층적 3단계 분석을 통해 인지심리학 원리에 기반한 클릭 패턴에서 마이크로 수준의 인지 상태를 모델링하기.
• 생존 분석(Cox 비례 위험 모델)을 적용하여 IPI 및 기타 클릭 행동이 영상 내 이탈과 과정 이탈에 대한 예측 능력을 평가하기.
• z-검정을 사용하여 학생 분할 그룹(예: 이탈자 vs. 비이탈자, 시청자 vs. 활동 학생) 간 평균 IPI 값을 비교하여 통계적 유의성 검증하기.
• 히스토GRAM 및 평균 IPI 플롯을 사용하여 다양한 영상 강의와 학생 집단 간 IPI 변동성을 시각화하여 구분 능력 평가하기.

실험 결과

연구 질문

• RQ1 저수준의 영상 클릭스트림 상호작용은 어떻게 인지적으로 타당한 고차원적 행동으로 모델링될 수 있는가?
• RQ2 정보 처리 지수(IPI)는 MOOC 영상 강의에서 향후 참여도와 이탈 행동을 어느 정도 예측할 수 있는가?
• RQ3 다양한 참여도 수준과 이탈 결과를 보이는 학생 집단 간 IPI 값은 어떻게 다를까?
• RQ4 IPI는 영상 내 이탈자와 비이탈자, 과정 이탈자와 비이탈자 간에 효과적으로 구분할 수 있는가?
• RQ5 뒤로감기 행동과 장기적인 과정 지속성 간의 관계는 어떠한가?

주요 결과

• 높은 IPI 값을 가진 학생은 과정 이탈 가능성이 유의미하게 낮으며, 영상 시청 비율 증가에 대한 위험비는 0.6334(p < 0.001)이다.
• 낮은 뒤로감기 행동에서 높은 뒤로감기 행동으로의 전환은 이탈 위험을 33% 감소시키며, 위험비는 0.6734(p < 0.001)이다.
• IPI는 비이탈자와 이탈자 간에 유의미하게 구분되며(|z| = 9.06, p < 0.01), 비이탈자 집단의 평균 IPI가 더 높다.
• 영상 내 이탈자보다 영상 내 이탈이 아닌 이탈자(비이탈자)의 평균 IPI가 유의미하게 높다(|z| = 22.54, p < 0.01), 이는 이탈 전 더 강한 인지 처리가 이루어졌음을 시사한다.
• 높은 참여도를 보이는 학생은 낮은 참여도 학생보다 유의미하게 높은 평균 IPI를 보이며(|z| = 8.296, p < 0.01), 이는 IPI가 참여도 수준에 민감함을 확인한다.
• 활동 학생은 시청자보다 IPI가 낮다(|z| = 10.45, p < 0.01), 이는 시청자가 주로 상호작용 방식이기 때문에 더 많은 인지적 노력이 투입되었음을 시사한다.