[논문 리뷰] Predicting Student Performance Based on Online Study Habits: A Study of Blended Courses

Adithya Sheshadri, Niki Gitinabard외 3명|arXiv (Cornell University)|2019. 04. 15.

Online Learning and Analytics인용 수 19

한 줄 요약

이 연구는 혼합형 컴퓨터 과학 과정 세 과정에서 LMS, 포럼, 버전 관리, 과제 시스템의 네 플랫폼을 대상으로 온라인 학습 습관을 분석하여 학생의 성취도를 예측한다. 연구 결과, 학생들은 일반적으로 한 번에 한 플랫폼만 사용하며, 마감일 주변에서 예측 가능한 세션 패턴을 보이며, 초기 행동 특징(예: 세션 간 간격)이 중간 정도의 정확도로 최종 성적을 유의미하게 예측하는 것으로 나타났다.

ABSTRACT

Online tools provide unique access to research students' study habits and problem-solving behavior. In MOOCs, this online data can be used to inform instructors and to provide automatic guidance to students. However, these techniques may not apply in blended courses with face to face and online components. We report on a study of integrated user-system interaction logs from 3 computer science courses using four online systems: LMS, forum, version control, and homework system. Our results show that students rarely work across platforms in a single session, and that final class performance can be predicted from students' system use.

연구 동기 및 목표

• 혼합형 수업에서 학생들이 여러 온라인 학습 플랫폼을 어떻게 사용하는지 분석하고, 그들의 학습 행동 패턴을 규명한다.
• 학생들이 동시에 여러 플랫폼을 사용하는지, 아니면 한 번에 하나의 플랫폼에 집중하는지 확인한다.
• 학습 습관이 과정 마감일과 관련하여 예측 가능한 패턴을 따르는지 조사한다.
• 온라인 학습 행동이 조기 탐지 가능성을 고려해 최종 성취도를 예측할 수 있는지 평가한다.
• 기록된 상호작용에서 효과적인 vs. 비효율적인 학습 습관을 식별함으로써 자동 피드백 또는 강사 지원을 가능하게 한다.

제안 방법

• Moodle(LMS), Piazza(포럼), GitHub Enterprise(버전 관리), WebAssign(과제 시스템)의 네 플랫폼에서 이질적인 사용자-시스템 상호작용 로그를 수집하고 통합한다.
• 상호작용 간 시간 간격의 경험적 기준을 사용해 개별 작업을 학습 세션과 브라우저 세션으로 그룹화한다.
• 최종 과정 성적을 기반으로 학생들을 성과 그룹(예: 고성취자 vs. 저성취자)으로 분류한다.
• 세션 빈도, 지속 시간, 세션 간 간격, 마감일 대비 시점 등의 행동 특징을 추출한다.
• 초기 수업 행동 특징을 사용해 기계학습 분류기(예: 로지스틱 회귀, 랜덤 포레스트)를 훈련시켜 최종 성취도를 예측한다.
• 교차 검증을 통해 예측을 검증하고, 기능 중요도를 평가하여 가장 예측력 있는 행동을 규명한다.

실험 결과

연구 질문

• RQ1 학생들은 한 번에 한 도구에 집중하는가, 아니면 한 세션 내에서 여러 플랫폼을 동시에 사용하는가?
• RQ2 학생들의 온라인 학습 습관은 과정 마감일에 기반한 명확한 패턴을 따르는가?
• RQ3 학생들의 관찰된 학습 습관을 사용해 최종 과정 성취도를 예측할 수 있는가?

주요 결과

• 학생들은 대부분 한 번에 한 플랫폼만 사용하며, 한 세션 내에서 다중 플랫폼 활동이 매우 적어 강한 플랫폼 사각지대가 존재함을 시사한다.
• 학습 세션 및 브라우저 세션의 수가 과정 마감일 앞서 급격히 증가하고 이후 급격히 감소하여 일관된 마감일 기반 행동 패턴을 보인다.
• 평균 세션 간 간격과 세션 빈도와 같은 핵심 행동 특징은 최초 몇 주 동안 측정된 이후에도 최종 성취도와 유의미하게 상관관계가 있으며, 이는 조기 예측 가능성을 시사한다.
• 초기 수업 행동 데이터로 훈련된 예측 모델은 최종 성취도를 상당한 정확도로 예측할 수 있었으며, 이는 조기 간병의 잠재력을 보여준다.
• 가장 예측력 있는 특징은 사용량 총량이 아니라 활동의 시기와 일관성과 관련된 것으로, 일일 일관성 있는 활동과 감소한 세션 간 간격이 핵심이었다.
• 면담 활동의 로깅이 완전하지 않음에도 불구하고, 통합된 온라인 데이터는 의미 있는 성취도 예측을 위한 충분한 신호를 제공했다.