[논문 리뷰] What will you do next? A sequence analysis on the student transitions between online platforms in blended courses

Niki Gitinabard, Sarah Heckman외 2명|arXiv (Cornell University)|2019. 05. 02.

Online Learning and Analytics참고 문헌 31인용 수 8

한 줄 요약

이 연구는 혼합 수업 환경에서 학생들이 여러 온라인 플랫폼을 넘어서 전환하는 방식을 시퀀스 분석을 통해 분석하며, 네 가지 도구(Moodle, Piazza, WebAssign, GitHub)의 정렬된 로그 데이터를 바탕으로 N-gram 및 Apriori 방법을 적용한다. 분석 결과, 고성적 학생들은 특히 토론 포럼으로의 복귀를 포함해 다수의 플랫폼 간 전환을 더 자주 보이며, 저성적 학생들은 Moodle와 같은 단일 플랫폼에서 장기간 반복적으로 사용하는 경향을 보여, 조기 간병 및 예측 모델링에 활용할 수 있는 명확한 행동 패턴의 차이를 확인할 수 있다.

ABSTRACT

Students' interactions with online tools can provide us with insights into their study and work habits. Prior research has shown that these habits, even as simple as the number of actions or the time spent on online platforms can distinguish between the higher performing students and low-performers. These habits are also often used to predict students' performance in classes. One key feature of these actions that is often overlooked is how and when the students transition between different online platforms. In this work, we study sequences of student transitions between online tools in blended courses and identify which habits make the most difference between the higher and lower performing groups. While our results showed that most of the time students focus on a single tool, we were able to find patterns in their transitions to differentiate high and low performing groups. These findings can help instructors to provide procedural guidance to the students, as well as to identify harmful habits and make timely interventions.

연구 동기 및 목표

• 혼합 학습 환경에서 학생들이 여러 온라인 교육 플랫폼 간 전환 방식을 이해하는 것.
• 특히 고성적(구분)과 저성적(비구분) 학생을 구분하는 전환 순서를 포함한 행동 패턴을 특정하는 것.
• 생산적인 학습 습관과 해로운 학습 습관을 밝혀내어 강사가 대상별 지침을 제공할 수 있도록 돕는 것.
• 전환 기반 행동 특징을 통합함으로써 학생 성과 예측 모델을 향상시키는 것.
• 유사한 교육적 역할을 수행하는 다양한 과정 도구(예: WebAssign과 GitHub) 간 연구 결과의 일반화 가능성 탐색

제안 방법

• Moodle(LMS), Piazza(토론 포럼), WebAssign(과제 제출), GitHub(버전 제어 및 코드 제출)의 네 가지 별도의 온라인 플랫폼에서 학생 활동 로그를 수집하고 정렬한다.
• 시간적 근접성과 사용자 맥락을 기반으로 개별 행동을 학습 세션으로 그룹화한다.
• 각 세션 내에서 플랫폼 전환 순서를 추출하여 학생 행동을 순서화된 행동 시퀀스로 모델링한다.
• 모든 학생에게서 가장 흔한 전환 패턴을 식별하기 위해 N-gram 분석을 적용한다.
• Apriori 알고리즘을 사용하여 연관 규칙를 발견하고, 구분 그룹과 비구분 그룹 간에 특히 빈도가 높은 전환 패턴을 특정한다.
• 최종 과정 성적을 기반으로 학생들을 구분(학점 A- 이상)과 비구분(학점 B+ 이하) 성과 그룹으로 분류한다.

실험 결과

연구 질문

• RQ1 혼합 수업에서 다양한 과정 도구 간 가장 흔한 전환은 무엇인가?
• RQ2 고성적(구분) 학생과 저성적(비구분) 학생 간 온라인 플랫폼 간 전환이 유의미하게 다른 것은 무엇인가?
• RQ3 플랫폼별 행동 및 전환 패턴은 학생 성과 결과와 어떻게 관련이 있는가?

주요 결과

• 학생 행동의 대부분은 단일 플랫폼 내에서 연속적으로 발생하며, 두 성과 그룹 모두에서 Moodle가 연속 행동 빈도가 가장 높다.
• 비구분 학생들은 구분 학생들보다 Moodle에서 연속 행동의 지속 시간과 빈도가 유의미하게 길고 빈번하다.
• 구분 학생들은 다른 플랫폼을 사용한 후 Piazza로 복귀하는 전환이 유의미하게 더 자주 발생하며, 이는 동료 토론에 적극적으로 참여하고 있음을 시사한다.
• 다른 플랫폼에서 여러 행동을 한 후 Piazza로 복귀하는 패턴은 대부분의 과정 제공에서 구분 학생들 사이에서 더 흔히 발생한다.
• 예를 들어 WebAssign은 빠른 제출을 위한 도구이고 GitHub는 장기적인 코딩 작업을 위한 도구이지만, 유사한 교육적 역할을 하는 도구 간 전환 패턴은 일반화 가능하다.
• 이 연구는 Moodle → Piazza 또는 Piazza → Moodle와 같은 특정 전환 시퀀스를 특정하여 생산적인 학습 행동의 지표로 규명하였으며, 이를 통해 성과 예측 모델의 향상에 활용할 수 있다.