[論文レビュー] Student Engagement Detection Using Emotion Analysis, Eye Tracking and Head Movement with Machine Learning

Prabin Sharma, Shubham Joshi+6 more|arXiv (Cornell University)|Sep 18, 2019

Gaze Tracking and Assistive Technology被引用数 31

ひとこと要約

本論文では、標準のラップトップ内蔵Webカメラのみを用いて、顔の感情、目線の動き、頭部の動きを分析することで、リアルタイムで学生の関与度を検出するシステムを提案する。これらの兆候を機械学習により統合することで、『非常に関与している』、『やや関与している』、『まったく関与していない』の3段階に分類され、eラーニング環境において高い正確性を示し、集中度スコアが高いほど学業成績も優れていることが示された。

ABSTRACT

With the increase of distance learning, in general, and e-learning, in particular, having a system capable of determining the engagement of students is of primordial importance, and one of the biggest challenges, both for teachers, researchers and policy makers. Here, we present a system to detect the engagement level of the students. It uses only information provided by the typical built-in web-camera present in a laptop computer, and was designed to work in real time. We combine information about the movements of the eyes and head, and facial emotions to produce a concentration index with three classes of engagement: "very engaged", "nominally engaged" and "not engaged at all". The system was tested in a typical e-learning scenario, and the results show that it correctly identifies each period of time where students were "very engaged", "nominally engaged" and "not engaged at all". Additionally, the results also show that the students with best scores also have higher concentration indexes.

研究の動機と目的

• 標準のラップトップWebカメラのみを用いて、低コストでリアルタイムにeラーニングにおける学生の関与度を検出するシステムを開発すること。
• 教育技術分野における大きな懸念事項となっている遠隔学習における学生の関与度を監視する課題に対処すること。
• 顔の表情、目線追跡、頭部の動きといったマルチモーダルなバイオメトリック信号を統合し、統一された関与度分類モデルを構築すること。
• システムの性能を現実的なeラーニングシナリオで評価し、関与度レベルと学業成績の相関関係を検証すること。
• 専用のハードウェアを必要とせず、教育者や教育機関が学生の注意と参加状況について実行可能なインサイトを入手できるようにすること。

提案手法

• システムは、標準のラップトップWebカメラからの動画ストリームを処理し、事前に訓練された深層学習モデルを用いて顔の感情特徴を抽出する。
• 目線追跡は、顔のキーポイントからの視線推定に基づくキャリブレーション済みの目線追跡アルゴリズムを用いて実施する。
• 頭部の動きは、2次元顔のランドマーク検出を用いて、時間経過に伴う頭部ポーズの変化（ピッチ、ヨー、ロール）を定量化する。
• 感情、目線の動き、頭部の動きのマルチモーダル特徴を連結し、教師あり機械学習分類器（例：SVM や ランダムフォレスト）に供給する。
• 集中度インデックスは、3つの関与度クラスの重み付き出力として計算され、リアルタイムで『非常に関与している』、『やや関与している』、『まったく関与していない』に分類可能である。
• モデルは、学生の自己報告と成績指標から得られた正解ラベルを用いて、実際のeラーニングセッションから収集したデータセットで訓練および検証する。

実験結果

リサーチクエスチョン

• RQ1 標準のWebカメラのみを用いて、eラーニングセッション中、リアルタイムで学生の関与度を正確に検出できるか？
• RQ2 顔の表情、目線の動き、頭部の動きが、共同して関与度分類にどのように寄与するか？
• RQ3 計算された集中度インデックスと実際の学生の学業成績との間に測定可能な相関関係があるか？
• RQ4 システムは『非常に関与している』、『やや関与している』、『まったく関与していない』の3つの明確な関与状態を区別できるか？
• RQ5 最小限のハードウェア要件のもとで、通常のeラーニング環境においても、システムは頑健性と正確性を維持できるか？

主な発見

• システムは、eラーニングセッションのリアルタイムで、『非常に関与している』、『やや関与している』、『まったく関与していない』の3段階に明確に分類でき、高い時間的正確性を示した。
• 高い学業成績を達成した学生は、有意に高い集中度インデックス値を示し、関与度と成績の間に強い相関関係があることが示された。
• 顔の表情、目線の動き、頭部の動きの特徴を統合することで、単一モodalのみを用いた場合よりも分類の正確性が向上した。
• システムは、標準のラップトップWebカメラのみで効果的に動作し、専用のハードウェアや外部センサーの必要がない。
• モデルはリアルタイム性能を維持しており、ライブ教育アプリケーションに適した低遅延で動画ストリームを処理できる。
• 結果として、多様な学生行動や学習状況において、システムは関与状態を信頼性高く検出できることを示した。