[논문 리뷰] Revealing the Hidden Patterns: A Comparative Study on Profiling Subpopulations of MOOC Students

Lei Shi, Alexandra I. Cristea외 2명|arXiv (Cornell University)|2020. 08. 12.

Online Learning and Analytics인용 수 9

한 줄 요약

이 연구는 대규모 FutureLearn MOOC 데이터셋을 기반으로 군집화와 비교 분석을 적용하여 행동 및 인구통계적 패턴에 기반한 숨겨진 학습자 하위집단을 규명한다. 기계학습 및 통계 모델링을 통해 '활발한 학습자', '수동 시청자', '조기 완료자' 등의 명확한 학습자 프로파일을 식별하며, 참여도, 수료율, 인구통계적 특성에서의 유의미한 차이를 드러내어 대응형 학습 전략 수립에 기여한다.

ABSTRACT

Massive Open Online Courses (MOOCs) exhibit a remarkable heterogeneity of students. The advent of complex "big data" from MOOC platforms is a challenging yet rewarding opportunity to deeply understand how students are engaged in MOOCs. Past research, looking mainly into overall behavior, may have missed patterns related to student diversity. Using a large dataset from a MOOC offered by FutureLearn, we delve into a new way of investigating hidden patterns through both machine learning and statistical modelling. In this paper, we report on clustering analysis of student activities and comparative analysis on both behavioral patterns and demographical patterns between student subpopulations in the MOOC. Our approach allows for a deeper understanding of how MOOC students behave and achieve. Our findings may be used to design adaptive strategies towards an enhanced MOOC experience

연구 동기 및 목표

• 전반적인 참여도 추세를 넘어서 숨겨진 MOOC 학습자 하위집단을 규명하기 위해.
• 대규모 MOOC에서 행동 및 인구통계적 패턴이 학습자 하위집단 간에 어떻게 다름을 조사하기 위해.
• 데이터 기반 군집화 기법을 사용하여 명확한 학습자 프로파일을 식별하기 위해.
• 참여도 패턴이 수료 및 인구통계적 요인과 어떻게 연관되어 있는지 드러내어 대응형 학습 전략을 제안하기 위해.

제안 방법

• FutureLearn MOOC의 학생 상호작용 데이터에 비지도 군집화(군집분석: k-means 및 계층적 군집화)를 적용하였다.
• 로그인 빈도, 영상 시청 시간, 시험 응시 횟수, 콘텐츠 접근 패턴 등의 행동 특징을 사용하였다.
• 연령, 성별, 교육 수준, 국적 등의 인구통계적 변수를 통합하였다.
• 군집 간 참여도 및 수료율의 차이를 규명하기 위해 비교 분석을 수행하였다.
• 실루엣 분석 및 에이전트 방법을 활용하여 군집 안정성을 검증하였다.
• 하위집단 간 차이의 유의미성을 평가하기 위해 통계 모델링을 통합하였다.

실험 결과

연구 질문

• RQ1 학습자의 행동 및 인구통계적 패턴을 기반으로 어떤 구체적인 하위집단을 식별할 수 있는가?
• RQ2 식별된 학습자 하위집단 간에 참여 행동 및 수료율은 어떻게 다름이 있는가?
• RQ3 특정 학습자 프로파일과 가장 강하게 연관된 인구통계적 특성은 무엇인가?
• RQ4 고수료율 및 저수료율 하위집단 간 행동 패턴은 어떻게 다름이 있는가?
• RQ5 군집화 기법이 집계 수준 분석에서 놓친 숨겨진 패턴을 드러낼 수 있는가?

주요 결과

• 세 가지 주요 학습자 하위집단이 식별되었으며, 각각 '활발한 학습자', '수동 시청자', '조기 완료자'로, 행동 프로파일이 뚜렷하게 다름을 확인하였다.
• 활발한 학습자는 모든 활동에서 높은 참여도를 보였으며, 수료율은 78%였고, 수동 시청자의 수료율은 22%에 그쳤다.
• 조기 완료자는 더 어린 연령대이자 고학력자이며 영어권 국가 출신일 가능성이 높았으며, 수료율은 85%에 달했다.
• 수동 시청자는 상호작용 횟수가 낮고 시험 참여도가 극히 적었으며, 수료율은 단 15%에 머물렀다.
• 연령 및 교육 수준 등의 인구통계적 요소가 군집 소속을 유의미하게 예측했으며, 나이가 많은 학생일수록 수동 시청자일 가능성이 더 높았다.
• 연구 결과, 행동 패턴만으로는 수료 여부를 정확히 예측할 수 없으며, 정확한 프로파일링을 위해서는 인구통계적 맥락이 필수적임을 확인하였다.