[论文解读] MATT: Multimodal Attention Level Estimation for e-learning Platforms

Roberto Daza, Luis Gómez+5 more|arXiv (Cornell University)|Jan 22, 2023

Gaze Tracking and Assistive Technology被引用 6

一句话总结

本文提出 MATT，一种用于基于面部线索（如眨眼频率、头部姿态、面部表情和关键点）在在线学习环境中估计学生注意力水平的多模态深度学习系统。在 mEBAL 数据集上进行训练后，该系统通过融合眨眼、头部姿态和面部表情特征，实现了 81.98% 的准确率（1-EER），相较于先前工作相对误差降低了 40%。

ABSTRACT

This work presents a new multimodal system for remote attention level estimation based on multimodal face analysis. Our multimodal approach uses different parameters and signals obtained from the behavior and physiological processes that have been related to modeling cognitive load such as faces gestures (e.g., blink rate, facial actions units) and user actions (e.g., head pose, distance to the camera). The multimodal system uses the following modules based on Convolutional Neural Networks (CNNs): Eye blink detection, head pose estimation, facial landmark detection, and facial expression features. First, we individually evaluate the proposed modules in the task of estimating the student's attention level captured during online e-learning sessions. For that we trained binary classifiers (high or low attention) based on Support Vector Machines (SVM) for each module. Secondly, we find out to what extent multimodal score level fusion improves the attention level estimation. The mEBAL database is used in the experimental framework, a public multi-modal database for attention level estimation obtained in an e-learning environment that contains data from 38 users while conducting several e-learning tasks of variable difficulty (creating changes in student cognitive loads).

研究动机与目标

• 开发一种非侵入式、多模态系统，仅使用网络摄像头数据实现实时远程在线学习环境中的注意力水平估计。
• 研究面部特征（眨眼频率、头部姿态、面部表情和面部关键点）在单独和组合使用时预测注意力水平的有效性。
• 通过使用支持向量机分类器进行分数级融合，改进现有单模态方法，融合多种面部信号。
• 在 mEBAL 数据集上验证系统，该数据集是公开的多模态在线学习数据库，包含受控认知负荷变化。
• 证明多模态融合在注意力估计准确率方面显著优于单模态基线方法。

提出的方法

• 采用卷积神经网络（CNNs）实现四个关键面部特征提取模块：眨眼检测、头部姿态估计、面部关键点检测和面部表情识别。
• 为每个单模态特征分别训练二分类支持向量机（SVM）分类器，基于提取的面部信号预测高注意力与低注意力水平。
• 应用分数级融合策略，通过加权平均或置信度分数拼接，整合多个模态的预测结果。
• 在 mEBAL 数据集上使用 10% 注意力时段百分位协议评估融合策略，通过等错误率（EER）和准确率比较性能。
• 通过受试者工作特征曲线下面积（ROC）曲线分析和与基线方法的统计比较，选择表现最佳的多模态组合。
• 使用 mEBAL 数据库，其中包含 38 名用户在不同难度的在线学习任务中采集的同步视频、面部和认知负荷数据。

实验结果

研究问题

• RQ1 眨眼频率、头部姿态、面部表情和面部关键点能否单独高精度预测在线学习会话中的注意力水平？
• RQ2 通过分数级融合组合多个面部模态，相较于单模态方法，能否显著提升注意力估计性能？
• RQ3 在 mEBAL 数据集上，哪种特定的面部特征组合能实现最高的注意力水平估计准确率？
• RQ4 与最先进的方法（如 ALEBk）相比，多模态融合在多大程度上降低了错误率？
• RQ5 在多模态设置中，包含基于面部关键点的特征（如 EAR）是否会提升或降低整体性能？

主要发现

• 结合眨眼检测、头部姿态估计和面部表情识别的多模态系统实现了最高的 81.98% 准确率（1-EER），显著优于所有单模态基线。
• 最佳单模态结果由仅使用眨眼检测实现，准确率为 75.96%（1-EER），表明眨眼频率与注意力水平之间存在强相关性。
• 眨眼与头部姿态特征的组合实现了 78.53% 的准确率（1-EER），表明头部姿态为注意力估计提供了有价值的上下文信息。
• 在融合中引入基于面部关键点的特征（如 EAR）会持续降低性能，表明该信号在当前任务中可能存在噪声或冗余。
• 完整的四模态融合（眨眼、头部姿态、面部表情和 EAR）实现了 79.66% 的准确率（1-EER），排名第二，表明并非所有特征对性能的贡献均等。
• 所提出的 MATT 系统相较于先前最先进方法 ALEBk（准确率 70%）将错误率相对降低了约 40%，证实了在注意力估计准确率方面实现了显著提升。