[论文解读] Deep Learning for Domain Adaption: Engagement Recognition.

Omid Mohamad Nezami, Len Hamey+2 more|arXiv (Cornell University)|Aug 7, 2018

Emotion and Mood Recognition参考文献 4被引用 5

一句话总结

本文提出了一种用于教育环境中参与度识别的深度迁移学习方法，通过在面部表情数据上进行预训练，以克服参与度特定数据有限的问题。该方法在包含4,627个参与度样本的新数据集上，性能优于基线模型（包括SVM和HOG+SVM）。

ABSTRACT

Engagement is a key indicator of the quality of learning experience, and one that plays a major role in developing intelligent educational interfaces. Any such interface requires the ability to recognise the level of engagement in order to respond appropriately; however, there is very little existing data to learn from, and new data is expensive and difficult to acquire. This paper presents a deep learning model to improve engagement recognition from images that overcomes the data sparsity challenge by pre-training on readily available basic facial expression data, before training on specialised engagement data. In the first of two steps, a facial expression recognition model is trained to provide a rich face representation using deep learning. In the second step, we use the model's weights to initialize our deep learning based model to recognize engagement; we term this the engagement model. We train the model on our new engagement recognition dataset with 4627 engaged and disengaged samples. We find that the engagement model outperforms effective deep learning architectures that we apply for the first time to engagement recognition, as well as approaches using histogram of oriented gradients and support vector machines.

研究动机与目标

• 解决教育情境中参与度识别标注数据有限的挑战。
• 在数据稀缺的情况下，利用深度学习提高参与度识别的准确性。
• 利用面部表情数据的预训练，提取鲁棒的面部表征以用于参与度分类。
• 开发并评估一种专用于参与度识别的新型深度学习模型。

提出的方法

• 在公开的面部表情数据集上预训练深度神经网络，以学习通用的面部特征表征。
• 微调预训练模型的权重，以初始化用于参与度识别的新深度学习模型。
• 在新收集的4,627张图像数据集上训练参与度特定模型，图像标签为“参与”或“不参与”。
• 使用迁移学习将通用面部表征适应到参与度识别这一特定任务。
• 与传统方法（如HOG + SVM）及其他深度学习架构进行模型评估。
• 采用端到端学习，利用卷积神经网络提取分层面部特征以实现分类。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，对面部表情数据进行预训练是否能提升参与度识别的性能？
• RQ2 从表情识别迁移学习如何提升参与度检测的准确性？
• RQ3 所提出的深度学习模型是否优于传统方法（如HOG + SVM）在参与度识别上的表现？
• RQ4 与标准特征提取技术相比，使用领域自适应的深度特征能带来多大的性能提升？
• RQ5 在数据量较少的场景下，该迁移学习策略在参与度识别中的有效性如何？

主要发现

• 所提出的参与度模型在性能上优于传统HOG + SVM及其他应用于参与度识别的深度学习架构。
• 在面部表情数据上进行预训练显著提升了参与度识别任务的性能。
• 该模型在包含4,627个标注样本的新数据集上达到了最先进水平的结果。
• 迁移学习通过利用相关任务中的丰富表征，有效缓解了数据稀疏性问题。
• 尽管参与度特定训练数据有限，该模型仍表现出强大的泛化能力。
• 结果证实，利用从表情数据中学习到的深度特征进行参与度识别具有显著有效性。