[논문 리뷰] Tracking Behavioral Patterns among Students in an Online Educational System

Stephan Sloth Lorenzen, Niklas Hjuler외 1명|arXiv (Cornell University)|2019. 08. 21.

Online Learning and Analytics인용 수 6

한 줄 요약

이 연구는 2015–2017년 동안 112주에 걸쳐 14,810명의 덴마크 초등학생들이 사용한 300만 건의 세션에 비음수 행렬 분해(NMF)를 적용하여 온라인 교육 시스템 내에서의 부드러운 행동 군집을 규명한다. 분석 결과, 언어 과목에서는 퀴즈 연습이 가장 효과적이며, 사회 및 과학 과목에서는 고차원 블룸 브래드의 분류 수준이 부족하게 사용되고 있음을 확인하였다. 전체적으로 시스템 내에서 소비하는 시간이 크게 증가했으며, 특히 언어 학습 분야에서 두드러진 경향을 보였다.

ABSTRACT

Analysis of log data generated by online educational systems is an essential task to better the educational systems and increase our understanding of how students learn. In this study we investigate previously unseen data from Clio Online, the largest provider of digital learning content for primary schools in Denmark. We consider data for 14,810 students with 3 million sessions in the period 2015-2017. We analyze student activity in periods of one week. By using non-negative matrix factorization techniques, we obtain soft clusterings, revealing dependencies among time of day, subject, activity type, activity complexity (measured by Bloom's taxonomy), and performance. Furthermore, our method allows for tracking behavioral changes of individual students over time, as well as general behavioral changes in the educational system. Based on the results, we give suggestions for behavioral changes, in order to optimize the learning experience and improve performance.

연구 동기 및 목표

• 학생이 온라인 교육 시스템에서 활동하는 방식이 학업 성과와 어떻게 연관되어 있는지 이해하는 것.
• 다양한 과목에서 연습 과제가 블룸 브래드 분류의 다양한 수준을 어떻게 활용하고 있는지 조사하는 것.
• 시간이 지남에 따라 개인 및 시스템 전체의 행동 변화를 추적하는 것.
• 교육 성과 향상을 위해 최적 및 열악한 학습 행동 패턴을 식별하는 것.

제안 방법

• 비음수 행렬 분해(NMF)를 사용하여 매주 갱신되는 학생 활동 데이터를 바탕으로 행동 패턴의 소프트 클러스터링을 생성한다.
• 연속적인 페이지 접근 간 600초 이내의 간격을 기준으로 세션을 정의하며, 퀴즈는 별도의 세션으로 간주한다.
• 특성으로는 시간대, 과목, 활동 유형, 연습 과제의 복잡도(블룸 브래드 분류 수준), 퀴즈 점수와 같은 성과 지표를 포함한다.
• 집계된 주간 데이터를 기반으로 한 번의 클러스터링을 수행하여 개인 및 시스템 전체의 행동 변화 추적을 가능하게 한다.
• 개별 클러스터의 소속 관계를 112주간의 주기 동안 추적하여 추세 및 상관관계를 탐지한다.
• 장기적 행동 분석을 위해 클러스터 간 유사도를 코사인 유사도로 비교한다.

실험 결과

연구 질문

• RQ1 온라인 시스템 내 학생 활동이 학업 성과에 어떤 영향을 미치는가?
• RQ2 다양한 과목 간 블룸 브래드 분류 수준의 사용 방식은 어떻게 분포되어 있는가?
• RQ3 학생들 사이에서 지배적인 행동 패턴은 무엇이며, 시간이 지남에 따라 어떻게 변화하는가?
• RQ4 특정 과목에서 성과 향상에 가장 효과적인 활동(예: 퀴즈, 독서)은 무엇인가?
• RQ5 시스템 전체의 행동 추세는 공휴일 및 방학 기간과 어떻게 연관되어 있는가?

주요 결과

• 학교 외 시간(예: 집에서)에 시스템을 사용하는 학생들은 학교 내 사용과 비교해 성과 향상이 뚜렷하지 않다.
• 퀴즈 참여는 언어 과목에서 성과 향상에 유의미하게 기여하며, 이는 연습 기반 과제가 언어 학습에 특히 효과적임을 시사한다.
• 언어 과목에서는 주로 '읽고 이해하기' 수준의 과제에 참여하지만, 분석, 평가, 창조 수준의 고차원 사고 능력은 더 균형 있게 활용되고 있다.
• 사회 과목에서는 '분석' 및 '평가' 수준 과제에 높은 참여도를 보이지만, '창조' 수준 과제는 거의 사용하지 않는다.
• 과학 과목에서는 고차원 블룸 브래드 분류 수준(분석, 평가, 창조)이 부족하게 활용되고 있으며, 대부분의 활동이 낮은 수준에 집중되어 있다.
• 언어 과목 학생들의 평균 주간 시스템 이용 시간은 15분에서 45분으로 증가했고, 사회 및 과학 과목 학생들은 25분으로 증가하여 시간이 지남에 따라 시스템 참여가 증가하고 있음을 보여준다.