[论文解读] AMIGOS: A Dataset for Affect, Personality and Mood Research on Individuals and Groups

Juan Abdon Miranda-Correa, Mojtaba Khomami Abadi+2 more|arXiv (Cornell University)|Feb 2, 2017

Mental Health Research Topics被引用 16

一句话总结

AMIGOS 是一个公开可用的多模态数据集，收集了40名参与者在个人和群体环境中观看短时和长时情绪视频时的脑电图（EEG）、心电图（ECG）、皮肤电导反应（GSR）、视频以及自我评估和外部评估的情绪标注。该数据集支持情绪、人格和情绪状态的研究，其中长时视频的GSR信号在人格和情绪状态预测中表现最佳（F1得分为0.623），而EEG在唤醒度/效价分类任务中优于其他模态。

ABSTRACT

We present AMIGOS-- A dataset for Multimodal research of affect, personality traits and mood on Individuals and GrOupS. Different to other databases, we elicited affect using both short and long videos in two social contexts, one with individual viewers and one with groups of viewers. The database allows the multimodal study of the affective responses, by means of neuro-physiological signals of individuals in relation to their personality and mood, and with respect to the social context and videos' duration. The data is collected in two experimental settings. In the first one, 40 participants watched 16 short emotional videos. In the second one, the participants watched 4 long videos, some of them alone and the rest in groups. The participants' signals, namely, Electroencephalogram (EEG), Electrocardiogram (ECG) and Galvanic Skin Response (GSR), were recorded using wearable sensors. Participants' frontal HD video and both RGB and depth full body videos were also recorded. Participants emotions have been annotated with both self-assessment of affective levels (valence, arousal, control, familiarity, liking and basic emotions) felt during the videos as well as external-assessment of levels of valence and arousal. We present a detailed correlation analysis of the different dimensions as well as baseline methods and results for single-trial classification of valence and arousal, personality traits, mood and social context. The database is made publicly available.

研究动机与目标

• 为解决现有缺乏同时研究个体和群体社交情境下情绪、人格和情绪状态的多模态数据集的问题。
• 在受控情绪刺激下，收集同步的神经生理信号（EEG、ECG、GSR）、视频以及情绪标注。
• 支持对单次试验中唤醒度、效价、人格特质、情绪状态和社会情境进行分类方法的基准测试。
• 提供一个公开可访问的资源，以推动生态有效社交环境中情感计算的发展。

提出的方法

• 参与者分别在个体环境中观看短时情绪视频，在个体和群体环境中观看长时视频。
• 使用可穿戴传感器精确同步记录神经生理信号（EEG、ECG、GSR）。
• 采集前额高密度（HD）、RGB和深度全身体视频，以支持多模态分析。
• 通过自我评估（效价、唤醒度、控制感、熟悉度、喜好度、基本情绪）和三位评分者的外部标注方式对情绪反应进行标注。
• 使用大五人格模型评估人格，使用PANAS量表评估情绪状态。
• 应用基线方法对单模态及特征级融合方法进行唤醒度、效价、人格特质、情绪状态和社会情境的分类。

实验结果

研究问题

• RQ1 个体观看与群体观看情境如何差异化地影响参与者的情绪反应（效价与唤醒度）？
• RQ2 在多模态环境下，自我评估与外部标注的情绪之间相关性如何？
• RQ3 在人格特质和情绪状态分类中，哪种生理模态（EEG、ECG、GSR）表现最佳？
• RQ4 多模态信号的特征级融合是否能提升情绪、人格和社交情境分类的性能？
• RQ5 视频时长（短时 vs. 长时）与社交情境如何相互作用，以塑造情绪和生理反应？

主要发现

• 外部标注的效价与唤醒度与自我评估结果显著相关，验证了其作为情绪状态代理指标的可靠性。
• 群体观看导致更高的效价和更强烈的唤醒反应，尤其在高唤醒度视频中，相较于个体观看表现更明显。
• EEG在效价与唤醒度分类任务中表现最佳，优于ECG和GSR。
• 长时视频的GSR信号在所有人格特质和情绪维度中实现了最高的平均F1得分（0.623）。
• 特征级融合仅在PA（积极情绪）和NA（消极情绪）预测中提升了性能，而在大多数情况下未超过最佳单模态表现。
• 结合短时与长时视频的“All-videos”场景并未提升性能，表明视频类型之间可能存在领域差异或复杂性问题。