[论文解读] DAiSEE: Towards User Engagement Recognition in the Wild

Abhay Gupta, Arjun D'Cunha+2 more|arXiv (Cornell University)|Sep 7, 2016

Emotion and Mood Recognition参考文献 63被引用 25

一句话总结

DAiSEE 引入了首个公开可用的大规模视频数据集，用于识别真实世界在线学习环境中的用户参与度，涵盖四种情感状态——参与度、无聊、困惑和挫折感，共包含来自112名用户的9,068段视频片段。该数据集采用多层次众包标注，并与专家心理学金标准相关联，为非受限环境下的基于视频的情感识别建立了基准。

ABSTRACT

We introduce DAiSEE, the first multi-label video classification dataset comprising of 9068 video snippets captured from 112 users for recognizing the user affective states of boredom, confusion, engagement, and frustration in the wild. The dataset has four levels of labels namely - very low, low, high, and very high for each of the affective states, which are crowd annotated and correlated with a gold standard annotation created using a team of expert psychologists. We have also established benchmark results on this dataset using state-of-the-art video classification methods that are available today. We believe that DAiSEE will provide the research community with challenges in feature extraction, context-based inference, and development of suitable machine learning methods for related tasks, thus providing a springboard for further research. The dataset is available for download at https://people.iith.ac.in/vineethnb/resources/daisee/index.html.

研究动机与目标

• 解决真实世界非受限环境中用户参与度识别缺乏公开可用数据集的问题。
• 通过提供大规模、多标签的视频数据集，支持情感计算研究，捕捉参与度、无聊、困惑和挫折感等情感状态。
• 利用真实世界情感状态识别的前沿方法，在DAiSEE数据集上建立视频分类模型的基准。
• 支持开发能够泛化于各种真实世界条件（如光照不足、遮挡和非正面对象）的鲁棒机器学习模型。
• 通过丰富且经过标注的视频数据，促进面向在线学习、医疗保健、广告和自动驾驶车辆的上下文感知系统研究。

提出的方法

• 数据集从112名用户在自然在线学习会话期间收集，捕捉了在真实世界条件下（包括光照变化、姿势变化和背景干扰）的视频片段。
• 每段视频片段均采用“群体智慧”方法进行标注，四种情感状态各分为四个等级（极低、低、高、极高）。
• 由一组专家心理学家创建金标准标注，以验证并关联众包标签。
• 数据集包含9,068段视频片段，涵盖多种挑战，如光照不足、面部遮挡以及情感状态的动态变化。
• 通过在DAiSEE数据集上应用前沿视频分类模型，建立基准结果，为未来研究提供基线参考。
• 数据集发布时附带原始标注数据，以支持投票聚合与模型改进的研究。

实验结果

研究问题

• RQ1 如何在非受限的真实环境（如在线学习会话）中可靠地识别用户参与度？
• RQ2 在自然视频环境中识别无聊、困惑、参与度和挫折感等情感状态面临哪些关键挑战？
• RQ3 多层次众包标注与专家验证的金标准标注在情感识别任务中相比如何？
• RQ4 情感状态之间的互补关系（如参与度与无聊）在多大程度上能提升模型的鲁棒性和分类准确率？
• RQ5 当前视频分类模型在应用于真实世界多样化情感状态识别时，其性能极限是什么？

主要发现

• DAiSEE 是首个聚焦于四种特定情感状态（参与度、无聊、困惑和挫折感）而非传统七种基本情绪的公开可用数据集。
• 该数据集包含来自112名用户的9,068段视频片段，采集自真实在线学习环境，具有自然的光照、姿势和背景变化。
• 每种情感状态均以四等级量表（极低至极高）进行标注，并经由专家心理学家创建的金标准进行验证。
• 数据集显示，参与度与无聊通常呈互补关系，但并非总是如此，表明情感状态之间存在复杂且非线性的关系。
• 本研究通过前沿视频分类模型建立了基准性能，为未来研究提供了基线参考。
• 该数据集包含低光照、面部遮挡和非正面对象等具有挑战性的现实条件，显著影响模型性能。