[논문 리뷰] Visual Analytics of Student Learning Behaviors on K-12 Mathematics E-learning Platforms

Meng Xia, Huan Wei외 5명|arXiv (Cornell University)|2019. 09. 07.

Online Learning and Analytics참고 문헌 4인용 수 8

한 줄 요약

이 논문은 수학 e-학습 플랫폼에서 K-12 학생들의 문제 해결 행동을 분석하기 위해 마우스 이동 로그와 상호작용 히트맵을 활용하는 시각적 분석 시스템을 제시한다. 상관 분석, 히트맵, 전이 맵을 결합함으로써 학습 패턴을 드러내고, 잘못된 문제 설계를 식별하며, 덧셈적 사고 전략과 뺄셈적 사고 전략을 구분함으로써 교사들이 학습 자료를 최적화하고 학생의 인지 구조를 더 깊이 이해할 수 있도록 지원한다.

ABSTRACT

With increasing popularity in online learning, a surge of E-learning platforms have emerged to facilitate education opportunities for k-12 (from kindergarten to 12th grade) students and with this, a wealth of information on their learning logs are getting recorded. However, it remains unclear how to make use of these detailed learning behavior data to improve the design of learning materials and gain deeper insight into students' thinking and learning styles. In this work, we propose a visual analytics system to analyze student learning behaviors on a K-12 mathematics E-learning platform. It supports both correlation analysis between different attributes and a detailed visualization of user mouse-movement logs. Our case studies on a real dataset show that our system can better guide the design of learning resources (e.g., math questions) and facilitate quick interpretation of students' problem-solving and learning styles.

연구 동기 및 목표

• 다양한 상호작용 로그 데이터가 존재하지만 K-12 수학 e-학습 플랫폼에서 문제 해결 단계의 세부 분석이 부족한 점을 보완하기 위해.
• 데이터 기반 인사이트를 활용해 교사들이 난이도 수준이 잘못 표기된 문제와 같은 문제 설계 결함을 식별할 수 있도록 지원하기 위해.
• 상호작용 로그의 시각적 탐색을 통해 덧셈적 사고와 뺄셈적 사고와 같은 명확한 학생 사고 패턴을 드러내기 위해.
• 높은 수준의 성과 개요와 낮은 수준의 행동 분석을 모두 가능하게 하여 교육 전략 개선과 학습 자원 최적화를 지원하기 위해.

제안 방법

• 시스템은 네 가지 시각화 뷰를 통합한다: 문제 성과 개요, 상호작용 강도를 위한 히트맵, 순차적 마우스 이동을 위한 전이 맵, 영역 관심 영역(ROIs)을 정의하기 위한 제어 패널.
• 영역 관심 영역(ROIs)은 마우스 이동 로그에서 추출되어 파이 차트로 시각화되며, 부채꼴 두께와 색상이 상호작용 빈도와 시간 순서를 나타낸다.
• 마우스 이동 스트림을 처리하여 ROIs 간의 전이 패턴을 식별함으로써 문제 해결의 단계별 순서를 드러낸다.
• 질문 난이도 레이블과 실제 학생 평균 점수 간의 상관 분석을 수행하여 인식된 난이도와 실제 난이도 간의 괴리를 탐지한다.
• 히트맵은 공간적 상호작용 집중도를 시각화하여 문제 해결 중 학생이 집중하는 영역을 강조한다.
• 전이 맵을 활용해 고성취자와 저성취자 간의 비교 분석을 통해 절차적 차이를 추론한다.

실험 결과

연구 질문

• RQ1 K-12 수학 e-학습 플랫폼에서 생성된 세부 마우스 이동 로그는 어떻게 시각화하여 학생의 문제 해결 전략을 드러낼 수 있는가?
• RQ2 질문 난이도 레이블과 실제 학생 성과 간의 상관관계는 어느 정도이며, 괴리는 어떻게 탐지할 수 있는가?
• RQ3 상호작용 로그 시각화를 통해 덧셈적 또는 뺄셈적 사고와 같은 명확한 사고 패턴을 식별할 수 있는가?
• RQ4 정답을 맞춘 학생들과 오답을 본 학생들 간의 상호작용 순서는 어떻게 다를까?
• RQ5 시각적 분석 기법은 교사들이 학습 자료 설계의 결함을 식별하고 교육을 맞춤형으로 조정하는 데 도움이 될 수 있는가?

주요 결과

• 설계자가 '쉬움'으로 표기한 질문들 중 일부는 실제 학생 평균 점수가 낮아, 난이도 레이블 재평가가 필요함을 시사한다.
• 학업 성취도가 높은 학생들의 상당수는 수평적으로 왼쪽에서 오른쪽으로 빨간 점을 이동시키는 '덧셈적' 사고 전략을 사용한 것으로 나타났다.
• 정답을 맞춘 학생들은 전이 맵에서 오른쪽에서 왼쪽으로 솔루션 공간을 탐색하는 경향이 있었고, 오답을 본 학생들은 반대 방향의 패턴을 보였다.
• 히트맵만으로는 특정한 정답이 하나뿐인 질문에서 전이 맵이 순차적 문제 해결 단계를 효과적으로 드러내었으며, 이는 히트맵만으로는 유추하기 어려운 정보였다.
• 공간적 및 시간적 클러스터링을 통한 마우스 상호작용 분석을 통해 덧셈적 사고와 뺄셈적 사고의 두 가지 명확한 인지 전략을 성공적으로 식별하였다.
• 상관 분석과 시각적 탐색의 통합을 통해 문제를 일으키는 학습 자료를 신속하게 탐지하고 교사들이 실질적인 인사이트를 얻을 수 있도록 지원하였다.