[论文解读] A multimodal stress detection dataset with facial expressions and physiological signals

Majid Hosseini, Fahad Sohrab+6 more|arXiv (Cornell University)|Aug 29, 2022

Emotion and Mood Recognition被引用 7

一句话总结

本论文提出了EmpathicSchool，一个新颖的多模态数据集，通过20名参与者在26小时内受控压力条件下采集的面部表情与生理信号（如心率、皮肤电活动和皮肤温度）构建而成。该数据集通过关联面部情绪线索与生物信号，实现多模态压力检测，统计验证显示心率及特定情绪（如愤怒、惊讶、悲伤）在不同压力水平下存在显著差异（p < 0.05）。

ABSTRACT

Affective computing has garnered the attention and interest of researchers in recent years, as there is a need for AI systems to better understand and react to human emotions. However, analyzing human emotions, such as mood or stress, is quite complex. While various stress studies use facial expressions and wearables, most existing datasets rely on processing data from a single modality. This paper presents EmpathicSchool, a novel dataset that captures facial expressions and the associated physiological signals, such as heart rate, electrodermal activity, and skin temperature, under different stress levels. The data was collected from 30 participants during different sessions for about ninety minutes each (for a total of 40 hours). The data includes seven different signal types, including both computer vision and physiological features that can be used to detect stress. In addition, various experiments were conducted to validate the signal quality.

研究动机与目标

• 解决缺乏同时分析面部表情与生理信号以用于压力检测的多模态数据集的问题。
• 创建高保真度、实时采集的多模态数据集，涵盖不同压力水平下的情绪表达与生物反应。
• 验证信号质量，并建立特定情绪与与压力相关的生理变化之间的统计相关性。
• 通过提供带标签的多模态数据，支持教育、医疗和职场健康领域共情系统的发展。
• 通过提供公开获取的视频与传感器数据，支持情感计算研究，用于压力与情绪分析。

提出的方法

• 通过同步视频录制与可穿戴传感器，在26小时内分多次会话从20名参与者中采集数据。
• 捕获九种不同类型的信号，包括面部特征（通过InceptionV3与dlib 68点标志点）和生理信号（ECG、EDA、皮肤温度等）。
• 采用受控实验设置，包含三个压力水平会话：低、中、高压力，且标注了情绪状态。
• 应用单因素方差分析（one-way ANOVA）检验不同压力水平与情绪类别下生理信号差异的显著性。
• 利用预训练模型（InceptionV3在FER-2013数据集上微调）与dlib进行面部特征提取，以确保从视频中准确识别情绪。
• 提供开源代码用于面部表情分析与生理信号可视化，以支持可复现性与进一步分析。

实验结果

研究问题

• RQ1 在不同压力条件下，面部表情与生理信号是否可在多模态数据集中实现可靠同步与标注？
• RQ2 哪些生理信号（如心率、EDA、皮肤温度）在不同压力水平下表现出统计显著差异？
• RQ3 特定面部情绪（如愤怒、惊讶、悲伤）与压力相关生物指标的变化之间是否存在相关性？
• RQ4 在受控环境中急性暴露于压力时，情绪状态与生理反应在多大程度上共同变化？
• RQ5 该数据集是否能够支持在线教育或ICU监护等应用场景中实时、多模态压力检测系统的发展？

主要发现

• 心率在不同压力水平间存在显著差异（F = 4.346，p = 0.037），支持其作为可靠压力指标的使用。
• 愤怒（p = 0.004）、惊讶（p = 0.022）与悲伤（p = 0.030）等情绪与压力显著相关，表明存在强烈的多模态信号关联。
• 皮肤电活动（EDA）、皮肤温度以及中性、快乐、恐惧、厌恶状态在不同压力水平间无显著差异（p > 0.05），表明其在此数据集中区分能力有限。
• 在压力初期观察到皮肤温度突然下降，但随后上升，表明其与压力之间存在复杂的时间动态关系。
• 该数据集展现出高质量且一致的信号，通过多次测量与跨参与者的统计分析得到验证。
• 结合面部表情分析（使用InceptionV3与dlib）与生理信号处理，实现了鲁棒的、实时的多模态特征提取，适用于压力建模。