[논문 리뷰] MUTLA: A Large-Scale Dataset for Multimodal Teaching and Learning Analytics

Fangli Xu, Lingfei Wu외 4명|arXiv (Cornell University)|2019. 10. 05.

EEG and Brain-Computer Interfaces참고 문헌 8인용 수 7

한 줄 요약

이 논문은 중국의 Squirrel AI Learning 시스템을 사용하는 학생들로부터 수집된 학습 로그, 동기화된 비디오 기록, 그리고 뇌파 데이터를 결합한 대규모 실생활 다중모odal 데이터셋인 MUTLA를 소개한다. 중국의 방과후 보충 수업 세션 동안 수집된 이 데이터셋은 행동, 생리적 반응, 상호작용 데이터의 통합 분석을 통해 학생의 참여도 예측 연구를 가능하게 하며, 적응형 학습 시스템의 향상에 기여한다.

ABSTRACT

Automatic analysis of teacher and student interactions could be very important to improve the quality of teaching and student engagement. However, despite some recent progress in utilizing multimodal data for teaching and learning analytics, a thorough analysis of a rich multimodal dataset coming for a complex real learning environment has yet to be done. To bridge this gap, we present a large-scale MUlti-modal Teaching and Learning Analytics (MUTLA) dataset. This dataset includes time-synchronized multimodal data records of students (learning logs, videos, EEG brainwaves) as they work in various subjects from Squirrel AI Learning System (SAIL) to solve problems of varying difficulty levels. The dataset resources include user records from the learner records store of SAIL, brainwave data collected by EEG headset devices, and video data captured by web cameras while students worked in the SAIL products. Our hope is that by analyzing real-world student learning activities, facial expressions, and brainwave patterns, researchers can better predict engagement, which can then be used to improve adaptive learning selection and student learning outcomes. An additional goal is to provide a dataset gathered from real-world educational activities versus those from controlled lab environments to benefit the educational learning community.

연구 동기 및 목표

• 교수-학습 분석을 위한 공개 가능하고 고품질의 실생활 다중모달 데이터셋이 부족한 문제를 해결하기 위해.
• 학습 행동, 얼굴 표정, 뇌파 패tern을 통합한 데이터를 활용한 학생의 참여도 예측 연구를 가능하게 하기 위해.
• 통제된 실험실 환경이 아닌 실제 방과후 학습 환경에서 수집된 데이터셋을 제공하기 위해.
• 학생의 참여도와 인지 상태에 따라 동적으로 반응하는 적응형 학습 시스템의 개발을 지원하기 위해.

제안 방법

• 중국의 두 개의 Squirrel AI Learning 센터에서 156名 학생으로부터 시간이 동기화된 다중모달 데이터를 수집하였다.
• Squirrel AI Learning 시스템의 학습자 기록 저장소에서 사용자 학습 로그를 확보하여 질문 수준의 응답과 전문성 추적 정보를 기록하였다.
• BrainCo 헤드밴드를 사용하여 뇌파 신호를 기록하고, FocusEDU 플랫폼를 통해 저장하였다.
• 학습 세션 동안 웹캠을 사용하여 영상 데이터를 촬영하였으며, 각 학생의 세션은 연속적으로 기록되었다.
• 시간 태그, 학생 ID, 세션 시간, 헤드셋 ID를 사용하여 사용자 기록, EEG 데이터, 영상 데이터를 동기화하였다.
• 시작 시간(stime)과 제출 시간(ctime)을 기반으로 영상 데이터를 질문 수준의 클립으로 분할하여 정렬된 다중모달 데이터 유닛을 생성하였다.

실험 결과

연구 질문

• RQ1 실생활 학습 환경에서의 다중모달 데이터는 연구 용도로 효과적으로 동기화되고 구조화될 수 있는가?
• RQ2 문제 해결 과정에서 학생의 얼굴 표정, 뇌파 패턴, 학습 참여도 간의 관계는 어떠한가?
• RQ3 EEG 및 영상 데이터는 적응형 학습 시스템에서 학생의 참여도와 학습 성과를 얼마나 잘 예측할 수 있는가?
• RQ4 다양한 과목과 학습 과제에서 영상 추적 품질(예: 얼굴 노출 비율)은 어떻게 달라지는가?
• RQ5 실생활 다중모달 데이터셋은 실험실 기반 데이터에 비해 참여도 및 인지 상태 예측 모델의 정확도를 향상시킬 수 있는가?

주요 결과

• 데이터셋은 6개 과목에서 총 2170개의 질문 수준 클립을 포함하며, 물리학 분야의 총 영상 시간은 50,790초, 영어 분야는 25,991초이다.
• 영상 클립의 61.54%는 최소 50% 이상의 유효한 얼굴 추적를 보였고, 전체적으로는 18.30%만이 완전히 노출된 상태였다.
• 시간 기반 매칭 알고리즘을 사용하여 사용자 기록, EEG 데이터, 영상 데이터를 성공적으로 동기화하여 신뢰할 수 있는 다중모달 분석이 가능해졌다.
• 데이터셋은 실제 방과후 학습 환경에서 수집된 포괄적인 학습 로그, 뇌파 신호, 영상 데이터를 포함하고 있다.
• GitHub를 통해 공개 제공되어 교육 AI 및 학습 분석 분야의 재현 가능 연구를 지원한다.
• 실생활 행동, 생리적 반응, 상호작용 데이터의 통합은 학생의 참여도 및 인지 상태 모델링에 새로운 기회를 제공한다.