[論文レビュー] MUTLA: A Large-Scale Dataset for Multimodal Teaching and Learning Analytics

Fangli Xu, Lingfei Wu+4 more|arXiv (Cornell University)|Oct 5, 2019

EEG and Brain-Computer Interfaces参考文献 8被引用数 7

ひとこと要約

本論文では、中国の放課後補習授業において、Squirrel AI Learningシステムを用いて学習を行った生徒の学習ログ、同期化された動画記録、およびEEG脳波データを統合した大規模で現実世界のマルチモーダルデータセットであるMUTLAを紹介する。このデータセットは、行動的・生理的・インタラクションに関する統合的分析を通じて、生徒の関与度予測に関する研究を可能にし、適応型学習システムの改善を支援する。

ABSTRACT

Automatic analysis of teacher and student interactions could be very important to improve the quality of teaching and student engagement. However, despite some recent progress in utilizing multimodal data for teaching and learning analytics, a thorough analysis of a rich multimodal dataset coming for a complex real learning environment has yet to be done. To bridge this gap, we present a large-scale MUlti-modal Teaching and Learning Analytics (MUTLA) dataset. This dataset includes time-synchronized multimodal data records of students (learning logs, videos, EEG brainwaves) as they work in various subjects from Squirrel AI Learning System (SAIL) to solve problems of varying difficulty levels. The dataset resources include user records from the learner records store of SAIL, brainwave data collected by EEG headset devices, and video data captured by web cameras while students worked in the SAIL products. Our hope is that by analyzing real-world student learning activities, facial expressions, and brainwave patterns, researchers can better predict engagement, which can then be used to improve adaptive learning selection and student learning outcomes. An additional goal is to provide a dataset gathered from real-world educational activities versus those from controlled lab environments to benefit the educational learning community.

研究の動機と目的

• 教育と学習分析の分野における、公開可能で高品質で現実世界のマルチモーダルデータセットの不足に対処すること。
• 学習行動、顔の表情、脳波パターンからの統合的データを用いた、生徒の関与度予測に関する研究を可能にすること。
• 実際の放課後学習環境から収集されたデータセットを提供し、制御されたラボ環境ではなく現実の学習状況を反映すること。
• 生徒の関与状態や認知状態に応じて動的に反応する適応型学習システムの開発を支援すること。

提案手法

• 中国の2か所のSquirrel AI Learningセンターで、156名の生徒から時間的に同期されたマルチモーダルデータを収集した。
• Squirrel AI Learningシステムの学習者記録ストアからユーザーの学習ログを取得し、問題単位の回答と熟達度の追跡を記録した。
• BrainCoのヘッドバンドを用いてEEG脳波信号を記録し、FocusEDUプラットフォームを介して保存した。
• 学習セッション中にウェブカメラを用いて動画データを記録し、各生徒のセッションを継続的に記録した。
• タイムスタンプ、生徒ID、セッション時間、ヘッドセットIDを用いて、ユーザー記録、EEGデータ、動画データを同期化した。
• 開始時刻（stime）と提出時刻（ctime）に基づき、動画データを問題単位のクリップに分割し、整合性のあるマルチモーダルデータユニットを作成した。

実験結果

リサーチクエスチョン

• RQ1 現実世界の学習環境から得られるマルチモーダルデータは、研究用途に適した形でどのように効果的に同期化・構造化できるか？
• RQ2 問題解決の過程で、生徒の顔の表情、脳波パターン、学習関与度の間にはどのような関係があるか？
• RQ3 EEGデータおよび動画データを用いることで、適応型学習システムにおける生徒の関与度と学習成果をどの程度正確に予測できるか？
• RQ4 異なる教科や学習課題において、動画トラッキングの品質（例：顔の可視性）はどのように変動するか？
• RQ5 ラボベースのデータとは対照的に、現実世界のマルチモーダルデータセットは、関与度および認知状態予測モデルの精度を向上させることができるか？

主な発見

• データセットは6教科にわたり2170の問題単位のセグメントを含み、物理学の総動画時間は50,790秒、英語は25,991秒である。
• 動画セグメントの61.54％が少なくとも50％の顔トラッキングが有効であったが、完全に可視であったのはわずか18.30％にとどまった。
• タイムスタンプベースのマッチングアルゴリズムを用いて、EEGデータと動画データをユーザー記録と成功裏に同期化し、信頼性の高いマルチモーダル分析を可能にした。
• データセットには、現実の放課後学習環境で収集された包括的な学習ログ、EEG信号、動画データが含まれている。
• GitHub経由で公開されており、教育AIおよび学習分析分野における再現性のある研究を支援している。
• 現実世界の行動的・生理的・インタラクション的データの統合により、生徒の関与度および認知状態をモデル化する新たな機会が得られた。