[論文レビュー] MATT: Multimodal Attention Level Estimation for e-learning Platforms

Roberto Daza, Luis Gómez+5 more|arXiv (Cornell University)|Jan 22, 2023

Gaze Tracking and Assistive Technology被引用数 6

ひとこと要約

本稿では、目の瞬き頻度、姿勢、顔の表情、顔の特徴点といった顔の特徴を用いてeラーニング環境における学生の注視レベルを推定するマルチモーダル深層学習システムMATTを提案する。mEBALデータセットで訓練された本システムは、目の瞬き、姿勢、顔の表情の特徴を統合することで81.98％の正確性（1-EER）を達成し、先行研究比で40％の相対的誤差低減を実現した。

ABSTRACT

This work presents a new multimodal system for remote attention level estimation based on multimodal face analysis. Our multimodal approach uses different parameters and signals obtained from the behavior and physiological processes that have been related to modeling cognitive load such as faces gestures (e.g., blink rate, facial actions units) and user actions (e.g., head pose, distance to the camera). The multimodal system uses the following modules based on Convolutional Neural Networks (CNNs): Eye blink detection, head pose estimation, facial landmark detection, and facial expression features. First, we individually evaluate the proposed modules in the task of estimating the student's attention level captured during online e-learning sessions. For that we trained binary classifiers (high or low attention) based on Support Vector Machines (SVM) for each module. Secondly, we find out to what extent multimodal score level fusion improves the attention level estimation. The mEBAL database is used in the experimental framework, a public multi-modal database for attention level estimation obtained in an e-learning environment that contains data from 38 users while conducting several e-learning tasks of variable difficulty (creating changes in student cognitive loads).

研究の動機と目的

• Webカメラからのデータのみを用いて、非侵襲的かつマルチモーダルなリアルタイム注視レベル推定システムをeラーニング環境に開発すること。
• 目の瞬き頻度、姿勢、顔の表情、顔の特徴点といった顔の特徴が、注視レベルを予測するために個別および統合的にどれほど有効であるかを調査すること。
• SVM分類器を用いたスコアレベル統合により、単一モodalなアプローチを改善し、複数の顔の信号を統合すること。
• mEBALデータセット上で本システムを検証すること。mEBALデータセットは、認知的負荷の変動を制御したマルチモーダルeラーニングデータベースとして公開されている。
• マルチモーダル統合が単一モダルベースラインに比べて注視レベル推定の正確性で顕著に優れていることを実証すること。

提案手法

• 目の瞬き検出、姿勢推定、顔の特徴点検出、顔の表情認識の4つの顔特徴抽出モジュールに畳み込みニューラルネットワーク（CNN）を適用した。
• 抽出された顔の信号に基づき、高・低注視レベルを予測するための個別の二値SVM分類器を各モダリティごとに訓練した。
• スコアレベル統合を用いて、複数モダリティの予測結果を統合し、信頼度スコアの重み付き平均または連結を用いた。
• mEBALデータセット上で10％注視期間パーセンタイルプロトコルを用いて統合戦略を評価し、等誤差率（EER）および正確性を用いて性能を比較した。
• ROC曲線分析とベースライン手法との統計的比較を通じて、最良のマルチモーダル組み合わせを選定した。
• mEBALデータベースを用い、38名の被験者が異なる難易度のeラーニングタスクを実行した際の同期された動画、顔、認知的負荷データを含む。

実験結果

リサーチクエスチョン

• RQ1 目の瞬き頻度、姿勢、顔の表情、顔の特徴点が、eラーニングセッションにおいて高精度に注視レベルを予測できるか？
• RQ2 スコアレベル統合による複数顔モダリティの統合は、単一モダリティアプローチに比べて注視レベル推定性能をどのように向上させるか？
• RQ3 mEBALデータセットにおいて、どの特定の顔特徴の組み合わせが注視レベル推定で最高の正確性を達成するか？
• RQ4 マルチモーダル統合は、ALEBkなどの最先端手法に比べて誤差率をどの程度低減するか？
• RQ5 顔の特徴点に基づく特徴（例：EAR）をマルチモーダル設定に含めることは、全体の性能を向上させるか、悪化させるか？

主な発見

• 目の瞬き検出、姿勢推定、顔の表情認識を統合したマルチモーダルシステムが、81.98％（1-EER）の最高正確性を達成し、すべての単一モダルベースラインを顕著に上回った。
• 最高の単一モダル結果は、目の瞬き検出のみで達成され、75.96％（1-EER）の正確性を示し、瞬き頻度と注視レベルとの強い相関を示した。
• 目の瞬きと姿勢の特徴を組み合わせた場合、78.53％（1-EER）の正確性を達成し、姿勢が注視レベル推定に貴重な文脈的情報を提供していることを示した。
• EARに基づく顔の特徴点特徴を統合すると、一貫して性能が低下した。これは、このタスクにおいて、この信号がノイズや冗長性を含む可能性を示唆している。
• 4モダリティ統合（目の瞬き、姿勢、顔の表情、EAR）は79.66％（1-EER）の正確性を達成し、2番目に高い性能を示した。これは、すべての特徴が性能向上に均等に寄与するわけではないことを示している。
• 提案されたMATTシステムは、先行研究の最先端手法ALEBk（70％正確性）に比べて誤差率を約40％相対的に低減し、注視レベル推定の正確性に顕著な向上を確認した。