[논문 리뷰] Modelling student online behaviour in a virtual learning environment

Martin Hlosta, Drahomíra Herrmannová외 4명|Open Research Online (The Open University)|2018. 11. 09.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 6인용 수 14

한 줄 요약

이 논문은 가상 학습 환경(VLE) 내 학생의 온라인 행동을 모델링하기 위해 GUHA와 마르코프 체인 기반 분석을 제안한다. 첫 번째 테이터 마크드 과제(TMA 1) 이전에 위험에 처한 학생을 예측하는 데 초점을 맞추고 있다. 마르코프 체인 접근법은 시간에 따라 변화하는 활동 패턴을 효과적으로 포착하며, 이는 후반 주(예: 2–4주)에 VLE 활동이 전혀 없었던 학생이 TMA 1에 실패할 가능성이 높다는 것을 드러낸다. 반면, 초기에 활동이 없었지만 후반에 재활동이 이루어진 학생은 성공 가능성이 높아진다.

ABSTRACT

In recent years, distance education has enjoyed a major boom. Much work at The Open University (OU) has focused on improving retention rates in these modules by providing timely support to students who are at risk of failing the module. In this paper we explore methods for analysing student activity in online virtual learning environment (VLE) -- General Unary Hypotheses Automaton (GUHA) and Markov chain-based analysis -- and we explain how this analysis can be relevant for module tutors and other student support staff. We show that both methods are a valid approach to modelling student activities. An advantage of the Markov chain-based approach is in its graphical output and in the possibility to model time dependencies of the student activities.

연구 동기 및 목표

• 가상 학습 환경(VLE) 내 학생의 온라인 활동 패턴이 학업 성취도와 관련이 있음을 규명하는 것.
• 첫 번째 테이터 마크드 과제(TMA 1) 이전의 VLE 상호작용 데이터를 분석하여 위험에 처한 학생을 조기에 탐지하는 것.
• GUHA 및 마르코프 체인 기반 방법이 시간에 따라 변화하는 학생 활동 패턴을 모델링하는 데 효과적인지 평가하는 것.
• 유지율을 향상시키기 위해 모듈 테이터 및 학생 지원 인력이 시기적절한 간섭을 위한 실질적인 통찰을 제공하는 것.
• 특정 VLE 활동 시퀀스가 초기 평가에서의 성공 또는 실패를 예측할 수 있는지 탐색하는 것.

제안 방법

• 집계된 학생 VLE 활동 데이터에서 연관 규칙를 발견하기 위해 일반 단항 가설 자동기계(GUHA)를 사용하였다.
• 학생 활동 강도의 전이를 주간 단위로 표현하기 위해 마르코프 체인 기반 모델링을 적용하였다. 이는 시간적 종속성을 포착한다.
• 클릭 수와 활동 존재 여부를 나타내는 이진 플래그를 사용하여 주 및 콘텐츠 유형(예: 포럼, 위키, 자료)별로 VLE 상호작용 데이터를 집계하였다.
• 주 0–5의 범위에서 학생 활동 패턴의 마르코프 체인을 시각화하기 위해 방향성 있는 비순환 그래프(DAG)를 구축하였다.
• 그래픽 출력에서 전이 화살표에 색상 코딩을 적용하여 특정 행동 시퀀스를 따르는 학생 비율을 나타내었다.
• 최소한 한 주 동안 VLE 활동이 전혀 없었던 학생에 대해 집중 분석을 수행하였으며, TMA 1에 합격하거나 불합격한 학생 간 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 GUHA 및 마르코프 체인 기반 방법이 첫 번째 테이터 마크드 과제 이전의 VLE 내 학생 활동 패턴을 효과적으로 모델링할 수 있는가?
• RQ2 TMA 1에 실패하는 데 가장 예측력이 높은 VLE 불활성 또는 활동 강도 패턴은 무엇인가?
• RQ3 불활성의 시기와 지속 기간(예: 과정 초반 대비 후반)이 TMA 1 성과와 어떻게 연관되는가?
• RQ4 그래픽 기반 마르코프 체인 모델은 학생 지원 인력이 위험에 처한 학생을 식별하는 데 있어 해석 가능성과 지원을 향상시키는가?
• RQ5 콘텐츠 유형별 활동을 포함시키면 행동 모델의 예측 능력이 향상되는가?

주요 결과

• 주 2–4에 VLE 활동이 전혀 없었던 학생은 TMA 1에 92.3%의 확률로 실패했으며, 이는 후반 주 불활성 상태와 학업 실패 사이에 강한 상관관계가 있음을 시사한다.
• 오직 주 4에만 활동이 없었던 학생은 TMA 1에 100% 실패했으며, 이는 후반 과정의 불활성 상태가 매우 강력한 예측 지표임을 강조한다.
• 초기 주(예: 주 0)에 불활성 상태였지만 후반에 재활동을 시작한 학생은 TMA 1에 71.8%의 성공률를 보였으며, 이는 초기 이탈 후 재진입이 긍정적인 신호일 수 있음을 시사한다.
• 마르코프 체인 기반 접근법은 이해하기 쉬운 그래픽 출력을 생성하였으며, 색상 강도로 각 경로를 따르는 학생 비율을 명확히 시각화하였다.
• GUHA 방법은 이해하기 쉬운 연관 규칙를 생성하였지만, 출력에서 시간 차원이 손실되어 시간적 분석에 대한 활용도가 제한되었다.
• 마르코프 체인 모델은 시간에 따라 변화하는 행동을 효과적으로 포착하여, 시간에 따라 변화하는 활동 시퀀스 기반 결과 예측에 더 적합한 것으로 나타났다.