[论文解读] High-Level Concepts for Affective Understanding of Images

Afsheen Rafaqat Ali, Usman Shahid+2 more|arXiv (Cornell University)|May 8, 2017

Image Retrieval and Classification Techniques参考文献 18被引用 6

一句话总结

该论文提出了一种混合模型，利用从预训练卷积神经网络（CNN）中提取的高层概念（HLCs），如物体和地点，来预测图像引发的情感反应，从而在低层特征之外提升情感理解能力。通过使用类别特定回归器将HLCs与低层特征融合，该方法在离散情绪分类（Emotion6数据集上准确率达52%）和维度情感预测（VA分数）方面均达到最先进性能，同时通过明确的HLC-情感关联提供可解释性。

ABSTRACT

This paper aims to bridge the affective gap between image content and the emotional response of the viewer it elicits by using High-Level Concepts (HLCs). In contrast to previous work that relied solely on low-level features or used convolutional neural network (CNN) as a black-box, we use HLCs generated by pretrained CNNs in an explicit way to investigate the relations/associations between these HLCs and a (small) set of Ekman's emotional classes. As a proof-of-concept, we first propose a linear admixture model for modeling these relations, and the resulting computational framework allows us to determine the associations between each emotion class and certain HLCs (objects and places). This linear model is further extended to a nonlinear model using support vector regression (SVR) that aims to predict the viewer's emotional response using both low-level image features and HLCs extracted from images. These class-specific regressors are then assembled into a regressor ensemble that provide a flexible and effective predictor for predicting viewer's emotional responses from images. Experimental results have demonstrated that our results are comparable to existing methods, with a clear view of the association between HLCs and emotional classes that is ostensibly missing in most existing work.

研究动机与目标

• 通过显式建模高层概念与情感之间的关联，弥合图像内容与人类情感反应之间的情感鸿沟。
• 克服黑箱CNN和仅依赖低层特征方法在情感图像分析中的局限性。
• 开发一种透明、可解释的框架，将HLCs映射到情感分布，从而在情感计算中实现更好的可解释性。
• 通过融合HLCs与低层图像特征，提升情感图像分类和效价-唤醒度（valence-arousal）预测性能。
• 通过使用人类可读、语义丰富的HLCs，支持情感图像检索和图像字幕生成等应用。

提出的方法

• 使用预训练CNN（如ImageNet、Places205）从图像中提取高层概念（HLCs），如物体、地点和场景。
• 首次提出线性混合模型，显式建模HLCs与Ekman六种情绪类别（愤怒、厌恶、恐惧、喜悦、悲伤、惊讶）之间的关系，以中性情绪为基线。
• 通过支持向量回归（SVR）将线性模型扩展为非线性框架，用于预测情绪概率和效价-唤醒度（VA）分数。
• 在低层特征（LLFs）与HLCs的组合上训练类别特定回归器，然后整合为混合回归器集成，实现灵活且鲁棒的预测。
• 将HLC检测与情感预测解耦，使HLC可来自其他输入源（如图像字幕）。
• 在Emotion6和Artphoto数据集上评估模型，使用平均真正率和VA预测的平均绝对差（AAD）等指标。

实验结果

研究问题

• RQ1 能否利用高层概念（HLCs），如物体和地点，显式建模并预测人类对图像的情感反应？
• RQ2 HLCs在预测离散情绪类别和维度情感（效价-唤醒度）方面，相较于低层图像特征表现如何？
• RQ3 结合HLCs与低层特征的混合模型能否在情感图像理解中超越现有最先进方法？
• RQ4 不同HLC来源（如ImageNet、Places205）对情感预测性能的贡献如何？
• RQ5 与黑箱深度学习模型相比，使用HLCs能否提升情感图像分析的可解释性与泛化能力？

主要发现

• 所提出的混合模型在Emotion6数据集上预测主导情绪类别的准确率达到52%，优于该数据集上先前报告的结果。
• 该模型在效价-唤醒度（VA）预测方面达到最先进性能，效价AAD为1.2093，唤醒度AAD为0.6802，优于仅使用低层特征或CNN训练的模型。
• 结合低层特征与Places205 HLCs的混合模型在效价方面达到最低AAD（1.2093），在唤醒度方面与最佳基线模型持平。
• HLCs的使用使得特定概念（如“墓地”与恐惧、“蝴蝶/花朵”与喜悦）与情绪类别的关联变得清晰且可解释，这在黑箱模型中通常缺失。
• 即使HLC检测存在误差，该框架仍保持竞争力，表明其对预训练分类器不完美检测的鲁棒性。
• 该方法将HLC提取与情感预测解耦，支持从图像字幕等多样化来源集成HLC，从而提升训练灵活性与可扩展性。