[论文解读] ALEBk: Feasibility Study of Attention Level Estimation via Blink Detection applied to e-Learning

Roberto Daza, Daniel DeAlcala+4 more|arXiv (Cornell University)|Dec 16, 2021

Gaze Tracking and Assistive Technology被引用 12

一句话总结

本文提出 ALEBk，一种通过基于卷积神经网络（CNN）的眼睑眨动检测器，利用眨眼频率估算在线学习中学生注意力水平的新方法。研究发现眨眼频率与注意力水平之间存在显著的负相关关系，在 mEBAL 数据库上对高注意力与低注意力状态的分类准确率最高可达 74.47%。

ABSTRACT

This work presents a feasibility study of remote attention level estimation based on eye blink frequency. We first propose an eye blink detection system based on Convolutional Neural Networks (CNNs), very competitive with respect to related works. Using this detector, we experimentally evaluate the relationship between the eye blink rate and the attention level of students captured during online sessions. The experimental framework is carried out using a public multimodal database for eye blink detection and attention level estimation called mEBAL, which comprises data from 38 students and multiples acquisition sensors, in particular, i) an electroencephalogram (EEG) band which provides the time signals coming from the student's cognitive information, and ii) RGB and NIR cameras to capture the students face gestures. The results achieved suggest an inverse correlation between the eye blink frequency and the attention level. This relation is used in our proposed method called ALEBk for estimating the attention level as the inverse of the eye blink frequency. Our results open a new research line to introduce this technology for attention level estimation on future e-learning platforms, among other applications of this kind of behavioral biometrics based on face analysis.

研究动机与目标

• 探究通过眨眼频率估算在线学习环境中注意力水平的可行性。
• 开发一种适用于真实在线学习场景的鲁棒深度学习眼睑眨动检测系统。
• 利用 mEBAL 数据库的多模态数据，评估眨眼频率与认知注意力之间的相关性。
• 提出一种基于眨眼频率的实用注意力估算框架（ALEBk），可集成至在线学习平台。
• 探索基于眨眼的生物行为特征在提升远程教育系统方面的潜力。

提出的方法

• 使用 mEBAL 数据库提供的 RGB 图像和近红外（NIR）图像，从零开始训练基于 CNN 的眼睑眨动检测模型。
• 眨眼检测流程包括人脸检测、面部关键点定位、人脸对齐以及从视频帧中提取感兴趣区域（ROI）。
• 注意力水平估计建模为眨眼频率的倒数，通过设定阈值来区分高注意力与低注意力状态。
• 该方法利用 mEBAL 数据库提供的多模态数据，包括脑电图（EEG）信号和来自多个传感器的视频记录。
• 通过在不同注意力阈值设置下评估准确率、等错误率（EER）以及误接受率/误拒绝率，对分类性能进行评估。
• 在两个数据集（mEBAL 和 HUST-LEBW）上验证了该方法，证明其在真实环境下的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 在远程在线学习会话中，眨眼频率与注意力水平之间是否存在统计上显著的负相关关系？
• RQ2 基于 CNN 的眨眼检测系统是否能在非受限、真实环境下的在线学习场景中实现高性能？
• RQ3 眨眼频率在多大程度上可被可靠地用于分类在线学习中的高注意力与低注意力状态？
• RQ4 ALEBk 方法在不同注意力分类阈值设置下的性能表现如何变化？
• RQ5 眨眼频率是否可作为实时在线学习平台中注意力监控的一种可行且低成本的生物行为特征？

主要发现

• 观察到眨眼频率与注意力水平之间存在显著的负相关关系，眨眼频率越低，注意力水平越高。
• 所提出的 ALEBk 方法在使用 10%-90% 注意力阈值时，对高注意力与低注意力时段的分类准确率最高达到 74.47%。
• 在最低注意力阈值（低注意力设为 10%）时获得最高准确率，表明极端注意力状态具有更好的可分性。
• 在假阳性和假阴性率平衡的操作点（EER）处，方法准确率达到 70.21%，证实了其实际可行性。
• 眨眼检测模型在 mEBAL 和 HUST-LEBW 两个数据集上均优于现有最先进方法，证明其在真实环境中的鲁棒性与泛化能力。
• 概率密度分布显示，在较低的 $ au_L$ 值下，高注意力与低注意力状态之间的分离更清晰，进一步证实了对极端注意力水平的可检测性提升。