[논문 리뷰] Indicators of Good Student Performance in Moodle Activity Data

Ewa Młynarska, Derek Greene외 1명|arXiv (Cornell University)|2016. 01. 12.

Innovative Teaching and Learning Methods인용 수 16

한 줄 요약

이 연구는 60개의 학부 수준 컴퓨터 과학 과제에서 Moodle 활동 로그를 분석하여 높은 학업 성취도를 조기에 예측할 수 있는 지표를 규명한다. 초기 제출, 높은 총 활동 수, 저녁 활동이 뛰어난 성취도의 강력한 지표임을 발견하였으며, 일부 과제에서는 노력과 성취도 간에 부정적 상관관계가 나타나, 과정 설계나 평가 방식에 문제가 있을 수 있음을 시사한다.

ABSTRACT

In this paper we conduct an analysis of Moodle activity data focused on identifying early predictors of good student performance. The analysis shows that three relevant hypotheses are largely supported by the data. These hypotheses are: early submission is a good sign, a high level of activity is predictive of good results and evening activity is even better than daytime activity. We highlight some pathological examples where high levels of activity correlates with bad results.

연구 동기 및 목표

• Moodle 로그 데이터를 활용하여 높은 학업 성취도의 조기 지표를 규명하기 위해.
• 세 가지 핵심 가설을 검증하기 위해: 초기 제출, 높은 활동 수, 저녁 활동이 높은 성적을 예측하는가를.
• 높은 활동 수와 낮은 성적 간 부정적 상관관계가 나타나는 이상 케이스를 탐지하기 위해.
• 행동 패턴을 기반으로 위험에 처한 학생을 조기에 식별하여 적절한 학업적 간입을 지원하기 위해.

제안 방법

• 360개의 수업에서 Moodle 로그 데이터를 수집하고 익명화 처리하였으며, 완전한 제출 기록을 보유한 60개 과제에 집중하였다.
• 제출까지 남은 시간과 과제 성적 간 피어슨 상관관계를 계산하였다.
• Moodle 이벤트의 정제된 서브셋(예: assign 보기, 평가를 위해 제출, 페이지 보기 등)을 기반으로 활동 이벤트를 정의하였다.
• 제출 전 두 주 동안의 활동 이벤트 수와 성적 간 상관관계를 산정하였다.
• 활동을 오전(오전 8시–오후 6시)과 저녁(오후 6시–자정) 간격으로 분할하여 예측 능력을 비교하였다.
• 시계열 분석을 통해 활동 패턴을 분석하고 높은 또는 낮은 성취도를 보이는 군집을 식별하였다.

실험 결과

연구 질문

• RQ1 Moodle 기반 수업에서 초기 제출은 높은 성취도와 상관관계가 있는가?
• RQ2 제출 전 높은 수준의 Moodle 활동은 더 나은 학업 성취도를 예측하는가?
• RQ3 낮은 활동보다 저녁 활동이 높은 성취도와 더 강한 상관관계를 보이는가?
• RQ4 높은 활동 수와 낮은 성적 간 부정적 상관관계가 나타나는 경우가 있으며, 그 이유는 무엇인가?

주요 결과

• 60개 과제 중 42개에서 제출까지 남은 시간과 최종 성적 간 양의 상관관계를 확인하였으며, 이는 초기 제출이 성공의 예측 지표임을 지지한다.
• 60개 과제 중 41개에서 총 활동 수준과 성적 간 양의 상관관계를 확인하였으며, 이는 높은 참여도가 일반적으로 더 나은 성취도와 관련이 있음을 확인한다.
• 저녁 활동은 성적과 평균 상관계수 0.13을 기록하여 오전 활동의 평균 상관계수 0.07보다 높게 나타나, 활동 시점의 중요성이 있음을 시사한다.
• 19개 과제에서 활동과 성적 간 부정적 상관관계를 관찰하였으며, 특히 1학년 수준 과제에서 두드러져 시간 관리나 평가 설계에 문제가 있을 수 있음을 시사한다.
• 3학년 수준 과제에서는 제출 시점과 성적 간 평균 상관계수가 가장 높았으며(0.33), 고급 학생들이 더 나은 시간 관리를 하고 있음을 나타낸다.
• 높은 활동 수와 낮은 성적 간 이상 케이스는 모호한 마감일, 늦은 제출에 대한 징벌 없음, 또는 평가 기준의 오류로 인해 발생하며, 이는 과목 수준의 분석이 필요함을 강조한다.