[논문 리뷰] Your click decides your fate: Leveraging clickstream patterns in MOOC videos to infer students' information processing and attrition behavior.

Tanmay Sinha, Patrick Jermann외 2명|arXiv (Cornell University)|2014. 07. 26.

Online Learning and Analytics참고 문헌 13인용 수 19

한 줄 요약

이 논문은 MOOC 영상 클릭스트림 데이터에서 유도된 정량적 정보 처리 지수를 제안하여 학생의 참여도를 모델링하고 탈락을 예측한다. 반복적인 클릭 행동, 예를 들어 정지, 되감기, 건너뛰기 등을 분석함으로써 저자들은 고유한 시청 프로파일을 식별하고, 통계적 및 기계학습 방법을 사용하여 이 지수가 영상 내 탈락과 완전한 과정 탈락을 효과적으로 예측할 수 있음을 입증한다.

ABSTRACT

With an expansive and ubiquitously available gold mine of educational data, Massive Open Online courses (MOOCs) have become the an important foci of learning analytics research. The hope is that this new surge of development will bring the vision of equitable access to lifelong learning opportunities within practical reach. MOOCs offer many valuable learning experiences to students, from video lectures, readings, assignments and exams, to opportunities to connect and collaborate with others through threaded discussion forums and other Web 2.0 technologies. Nevertheless, despite all this potential, MOOCs have so far failed to produce evidence that this potential is being realized in the current instantiation of MOOCs. In this work, we primarily explore video lecture interaction in Massive Open Online Courses (MOOCs), which is central to student learning experience on these educational platforms. As a research contribution, we operationalize video lecture clickstreams of students into behavioral actions, and construct a quantitative information processing index, that can aid instructors to better understand MOOC hurdles and reason about unsatisfactory learning outcomes. Our results illuminate the effectiveness of developing such a metric inspired by cognitive psychology, towards answering critical questions regarding students' engagement, their future click interactions and participation trajectories that lead to in-video dropouts. We leverage recurring click behaviors to differentiate distinct video watching profiles for students in MOOCs. Additionally, we discuss about prediction of complete course dropouts, incorporating diverse perspectives from statistics and machine learning, to offer a more nuanced view into how the second generation of MOOCs be benefited, if course instructors were to better comprehend factors that lead to student attrition.

연구 동기 및 목표

• 영상 강의 상호작용 패턴을 분석하여 MOOC에서 낮은 이수율이라는 지속적인 과제를 해결하기 위해.
• 학습자가 클릭스트림 행동을 행동적 행동으로 구체화하여 영상 소비 중 정보 처리를 이해하기 위해.
• 인지심리학에 기반한 정량적 정보 처리 지수를 개발하여 학생의 참여도와 학습 행동을 평가하기 위해.
• 클릭스트림 유도 지표와 기계학습 모델을 사용하여 영상 내 탈락과 완전한 과정 탈락을 예측하기 위해.
• 미래 MOOC 반복에서 과정 설계와 학생 유지를 향상시키기 위해 강사에게 데이터 기반 통찰을 제공하기 위해.

제안 방법

• 원시 영상 클릭스트림 데이터를 재생, 정지, 되감기, 빠른 재생, 이동 등의 이산적 행동으로 변환하기.
• 인지 부하와 처리 노력에 기반하여 이러한 행동을 집계하고 가중치를 적용하여 정량적 정보 처리 지수를 구성하기.
• 클릭스트림 패턴에 대해 비지도 학습 기법을 적용하여 학생들을 고유한 영상 시청 프로파일로 군집화하기.
• 클릭스트림 특징을 기반으로 통계적 및 기계학습 모델(예: 로지스틱 회귀, 랜덤 포레스트)을 훈련하여 영상 내 탈락과 전체 과정 탈락을 예측하기.
• 교차검증을 통해 정보 처리 지수의 예측 능력을 검증하고 기준 모델과 비교하기.
• 통계학과 기계학습의 다양한 시각을 통합하여 예측 프레임워크의 강건성과 해석 가능성 확보하기.

실험 결과

연구 질문

• RQ1 영상 클릭스트림 패턴은 어떻게 학생의 영상 소비 중 정보 처리를 반영하는 의미 있는 행동으로 구체화될 수 있는가?
• RQ2 MOOC 학습자 간의 클릭스트림 데이터 분석을 통해 어떤 고유한 영상 시청 프로파일이 도출되는가?
• RQ3 인지심리학에 영감을 받은 정보 처리 지수는 영상 내 탈락을 어느 정도 정확하게 예측할 수 있는가?
• RQ4 클릭스트림 기반 특징은 전통적 지표에 비해 완전한 과정 탈락 예측을 향상시킬 수 있는가?
• RQ5 강사는 이러한 통찰을 어떻게 활용하여 향후 MOOC에서 과정 설계를 향상시키고 학생 탈락률을 낮출 수 있는가?

주요 결과

• 제안된 정보 처리 지수는 영상 시청 중 학생의 참여도와 인지 처리의 변동을 효과적으로 포착한다.
• 클릭스트림 행동 군집화를 통해 주의 집중형, 분절형, 수동형 시청자 등의 고유한 영상 시청 프로파일이 식별되었다.
• 지수는 영상 내 탈락 예측에 뚜렷한 예측 능력을 보였으며, 높은 값은 영상 소비 중 조기 퇴장 위험 증가를 시사한다.
• 클릭스트림 기반 모델은 기존 모델 대비 완전한 과정 탈락 예측에서 뛰어난 성능을 보였으며, 세밀한 행동 데이터의 가치를 입증한다.
• 되감기 및 정지 행동은 깊은 처리와 강하게 연관되었고, 과도한 건너뛰기는 이탈 및 탈락 위험과 관련이 있었다.
• 인지심리학 원리를 데이터 모델링에 통합함으로써 예측 프레임워크의 해석 가능성과 실용적 관련성이 향상되었다.