[論文レビュー] n-Gage: Predicting in-class Emotional, Behavioural and Cognitive Engagement in the Wild

Nan Gao, Wei Shao+2 more|arXiv (Cornell University)|Jul 9, 2020

Flow Experience in Various Fields参考文献 81被引用数 32

ひとこと要約

n-Gage は実世界の教室でウェアラブルと環境センサーを用いて高校生の多次元の教室内エンゲージメント（感情的、 behavioural、認知的）を予測し、MAE ~0.56–0.79 および RMSE ~0.72–0.98 を達成します。

ABSTRACT

The study of student engagement has attracted growing interests to address problems such as low academic performance, disaffection, and high dropout rates. Existing approaches to measuring student engagement typically rely on survey-based instruments. While effective, those approaches are time-consuming and labour-intensive. Meanwhile, both the response rate and quality of the survey are usually poor. As an alternative, in this paper, we investigate whether we can infer and predict engagement at multiple dimensions, just using sensors. We hypothesize that multidimensional student engagement can be translated into physiological responses and activity changes during the class, and also be affected by the environmental changes. Therefore, we aim to explore the following questions: Can we measure the multiple dimensions of high school student's learning engagement including emotional, behavioural and cognitive engagement with sensing data in the wild? Can we derive the activity, physiological, and environmental factors contributing to the different dimensions of student engagement? If yes, which sensors are the most useful in differentiating each dimension of the engagement? Then, we conduct an in-situ study in a high school from 23 students and 6 teachers in 144 classes over 11 courses for 4 weeks. We present the n-Gage, a student engagement sensing system using a combination of sensors from wearables and environments to automatically detect student in-class multidimensional learning engagement. Experiment results show that n-Gage can accurately predict multidimensional student engagement in real-world scenarios with an average MAE of 0.788 and RMSE of 0.975 using all the sensors. We also show a set of interesting findings of how different factors (e.g., combinations of sensors, school subjects, CO2 level) affect each dimension of the student learning engagement.

研究の動機と目的

• 自動化されたセンサーベースのエンゲージメント測定が、時間のかかる調査を補足または置換する必要性を喚起する。
• 野外で収集された生理的、活動的、環境データから多次元のエンゲージメント（感情的、行動的、認知的）を推定できるかを調査する。
• 各エンゲージメント次元を最も効果的に区別するセンサーを特定する。
• ウェアラブルと室内環境データを融合してエンゲージメント推定を行う教室センスシステム（n-Gage）を開発・検証する。

提案手法

• 高校で4週間にわたり、144クラス、23人の生徒と6人の教師から大規模で多様な野外データセットを収集する。
• Empatica E4 腕時計を使用して EDA、PPG/HRV、加速度計、皮膚温度を捉え、温度と CO2 のために Netatmo 室内センサーを併用する。
• 行動的、情動的、認知的次元のために適応された In-class Student Engagement Questionnaires (ISEQ) で自己申告のエンゲージメントを収集する。
• class-period segmentation (IGTS)、アーティファクト除去、EDAの分解、HRV推定、正規化を含む前処理。
• 生理信号、活動、環境データから特徴を抽出し、皮膚温度や室内環境指標を含む。
• LightGBM 回帰モデルで多次元のエンゲージメントを予測し、全センサーで MAE および RMSE を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 実世界データを用いて高校生の学習エンゲージメントの複数の次元（感情的、行動的、認知的）を測定できるか。
• RQ2 どの活動、生理、環境要因が異なるエンゲージメント次元に寄与し、どのセンサーがそれらを最もよく区別するか。
• RQ3 どのセンサーと特徴表現が各エンゲージメント次元の予測精度を最も向上させるか。
• RQ4 実際の教室環境で環境要因（例：CO2）がエンゲージメント次元にどのように影響するか。

主な発見

• n-Gage は全センサーを使用した場合、MAE around 0.56 および RMSE around 0.72 で多次元のエンゲージメントを予測できる。
• 野外データ全体で、全センサーを使用するとエンゲージメント予測の MAE ≈ 0.788 および RMSE ≈ 0.975。
• 環境要因 like CO2 levels が認知エンゲージメントに負の影響を与え、換気の重要性を強調する。
• 本研究は、教室内でのエンゲージメント推定のために生理信号、動作、室内環境データを組み合わせる有用性の証拠を提供する。
• クリーニング後のデータセットは、331の授業セッションで、23人の生徒と6人の教師が関与し、105の分析クラスにまたがる。