[论文解读] Gender and Emotion Recognition with Implicit User Signals

Maneesh Bilalpur, Seyed Mostafa Kia+3 more|arXiv (Cornell University)|Aug 29, 2017

Emotion and Mood Recognition参考文献 30被引用 4

一句话总结

本研究提出了一种基于隐式行为信号（包括EEG脑电活动和眼动）的匿名性别与情绪识别框架，所用数据通过低成本、现成的设备采集。研究结果表明，利用特定情绪的EEG反应，性别识别准确率可达约70%，尤其在愤怒和厌恶情绪下表现更优；同时，隐式信号与显式情绪反应具有强相关性，可在保护隐私的前提下实现交互系统中的用户画像构建。

ABSTRACT

We examine the utility of implicit user behavioral signals captured using low-cost, off-the-shelf devices for anonymous gender and emotion recognition. A user study designed to examine male and female sensitivity to facial emotions confirms that females recognize (especially negative) emotions quicker and more accurately than men, mirroring prior findings. Implicit viewer responses in the form of EEG brain signals and eye movements are then examined for existence of (a) emotion and gender-specific patterns from event-related potentials (ERPs) and fixation distributions and (b) emotion and gender discriminability. Experiments reveal that (i) Gender and emotion-specific differences are observable from ERPs, (ii) multiple similarities exist between explicit responses gathered from users and their implicit behavioral signals, and (iii) Significantly above-chance ($\approx$70%) gender recognition is achievable on comparing emotion-specific EEG responses-- gender differences are encoded best for anger and disgust. Also, fairly modest valence (positive vs negative emotion) recognition is achieved with EEG and eye-based features.

研究动机与目标

• 探究隐式用户信号（特别是EEG与眼动）是否可在不损害隐私的前提下，实现匿名的性别与情绪识别。
• 通过比较显式反应时长与准确率，以及隐式神经活动与注视模式，分析性别在情绪处理上的差异。
• 评估低成本、可穿戴、现成设备（Emotiv EEG与EyeTribe眼动仪）在大规模、生态有效用户画像中的可行性。
• 确定事件相关电位（ERPs）与注视分布中的情绪与性别特异性模式是否可被可靠检测并用于分类。
• 探索在自适应系统中的实际应用，如个性化广告、推荐引擎与心理健康监测，利用隐式线索实现用户感知。

提出的方法

• 开展一项包含28名参与者（14名男性）的用户研究，评估其在六种基本情绪上的显式面部情绪识别表现，重点关注反应时长与准确率。
• 在情绪识别任务期间，使用Emotiv EEG头戴设备（14个电极）与EyeTribe眼动仪采集隐式行为信号。
• 分析事件相关电位（ERPs），识别前额叶与额叶皮层区域中与性别和情绪相关的神经模式。
• 研究注视分布与注视模式，检测在情绪处理过程中性别差异在视觉注意力上的表现。
• 利用EEG特征、眼动特征及其早期融合进行性别识别（GR）与基于效价的情绪识别（ER），以AUC为主要评估指标。
• 应用信号预处理技术，包括独立成分分析（ICA）与视觉伪影剔除，并采用机器学习方法进行分类，结合交叉验证。

实验结果

研究问题

• RQ1 隐式行为信号（如EEG与眼动）是否能可靠反映在面部情绪处理中性别差异？
• RQ2 在情绪识别任务中，情绪特异性ERP振幅与注视模式在男性与女性之间是否存在显著差异？
• RQ3 在仅依赖EEG与眼动信号的情况下，性别识别的准确程度如何，尤其在不同情绪下？
• RQ4 隐式反应（EEG与眼动）与显式用户反应在反应速度与准确率上是否存在显著相关性？
• RQ5 低成本、现成设备是否能捕捉到足够质量的信号，以实现在真实交互系统中有效的性别与情绪识别？

主要发现

• 女性在识别负面面部情绪（尤其是愤怒与厌恶）方面显著快于且更准确于男性，验证了先前研究结果。
• 女性在处理负面情绪时，特别是在前额叶与额叶皮层区域，表现出更强的事件相关电位（ERP）振幅。
• 基于EEG的性别识别达到最高AUC为0.71，尤其在愤怒与厌恶刺激下表现最佳，表明性别差异存在情绪特异性编码。
• 眼动特征在性别识别中达到最高AUC为0.63，与EEG融合后达到最高AUC为0.62，表明二者提供互补信息。
• 基于眼动特征的情绪效价识别（正负情绪）达到最高AUC为0.64，表明情绪效价具有中等可区分性。
• 显式用户反应（反应时长、准确率）与隐式行为信号（EEG、注视）之间存在显著相关性，验证了隐式测量的生态效度。