[论文解读] EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes

Jingyuan Yang, Qirui Huang+4 more|arXiv (Cornell University)|Jul 16, 2023

Advanced Computing and Algorithms被引用 5

一句话总结

EmoSet 引入了首个大规模视觉情感数据集，包含丰富且基于心理学动机的属性——亮度、色彩丰富度、场景类型、物体类别、面部表情和人类动作——在 118,102 幅图像上进行了标注。通过属性感知建模，该数据集在视觉情感识别任务中实现了卓越性能，当从 EmoSet 预训练微调至 FI 数据集时，准确率仅下降 20.09%，展现出强大的泛化能力和可解释性优势。

ABSTRACT

Visual Emotion Analysis (VEA) aims at predicting people's emotional responses to visual stimuli. This is a promising, yet challenging, task in affective computing, which has drawn increasing attention in recent years. Most of the existing work in this area focuses on feature design, while little attention has been paid to dataset construction. In this work, we introduce EmoSet, the first large-scale visual emotion dataset annotated with rich attributes, which is superior to existing datasets in four aspects: scale, annotation richness, diversity, and data balance. EmoSet comprises 3.3 million images in total, with 118,102 of these images carefully labeled by human annotators, making it five times larger than the largest existing dataset. EmoSet includes images from social networks, as well as artistic images, and it is well balanced between different emotion categories. Motivated by psychological studies, in addition to emotion category, each image is also annotated with a set of describable emotion attributes: brightness, colorfulness, scene type, object class, facial expression, and human action, which can help understand visual emotions in a precise and interpretable way. The relevance of these emotion attributes is validated by analyzing the correlations between them and visual emotion, as well as by designing an attribute module to help visual emotion recognition. We believe EmoSet will bring some key insights and encourage further research in visual emotion analysis and understanding. Project page: https://vcc.tech/EmoSet.

研究动机与目标

• 解决缺乏大规模、多样化且平衡的视觉情感数据集，且标注信息丰富的现状。
• 通过引入基于心理学理论的可描述视觉属性，弥合视觉情感分析中的情感鸿沟。
• 通过辅助属性监督，实现更具可解释性和鲁棒性的视觉情感识别。
• 推动研究超越情感识别，迈向对情感刺激的更深层次理解。
• 通过广泛的图像-文本和属性标注，支持多模态和弱监督学习。

提出的方法

• 利用 Mikels 的情感模型，通过 810 个情感关键词检索，构建了包含 330 万张图像的 EmoSet-3.3M 数据集。
• 收集并由人工标注了 118,102 幅图像，涵盖八种类别的基本情绪和六种视觉属性。
• 设计了一个多分支属性模块，用于从亮度、场景类型和面部表情中提取并整合与情感相关的特征。
• 应用 t-SNE 可视化，证明属性特征能够学习到具有判别性的、与情感相关的表征。
• 在 FI 和 Artphoto 数据集上，使用 ResNet-50 模型评估了跨数据集泛化能力，对比了是否使用 ImageNet 预训练的情况。
• 通过相关性分析和消融实验，验证了属性的相关性及其对情感识别性能的影响。

实验结果

研究问题

• RQ1 亮度和面部表情等丰富视觉属性在视觉刺激中与特定情感类别之间存在何种相关性？
• RQ2 与标准识别方法相比，属性感知建模在多大程度上能够提升视觉情感识别性能？
• RQ3 在 FI 和 Artphoto 等其他视觉情感数据集上，基于 EmoSet 预训练的模型泛化能力如何？
• RQ4 属性特征是否可以被可视化，以展示不同情感状态之间的有意义分离？
• RQ5 EmoSet 在规模、多样性、平衡性以及标注丰富度方面与现有数据集相比如何？

主要发现

• EmoSet-118K 包含 118,102 幅人工标注图像，规模是现有最大数据集（FI）的五倍，且在八种类别情感中具有均衡的类别分布。
• 属性模块通过学习具有判别性的、与情感相关的表征，提升了视觉情感识别性能，t-SNE 可视化结果清晰显示了按情感类别的聚类。
• 在 FI 数据集上测试时，从 EmoSet 预训练微调的模型准确率仅下降 20.09%，而从 FI 微调的模型准确率下降 26.98%，表明 EmoSet 具有更优的泛化能力。
• 属性特征如 'ruin'（废墟）和 'playroom'（游戏室）在 t-SNE 投影中实现了空间分离，分别对应悲伤和愉悦，验证了属性的相关性。
• 由于其图像来源多样，包括社交和艺术内容，EmoSet 在艺术图像（Artphoto）上也表现出良好泛化能力，基于 EmoSet 训练的模型优于基于 FI 训练的模型。
• 该数据集支持弱监督学习、视觉-语言建模，以及未来在视觉情感生成与编辑方面的研究，得益于其丰富的图像-文本和属性标注。