[论文解读] Building Emotional Machines: Recognizing Image Emotions through Deep Neural Networks

Hye‐Rin Kim, Yeong-Seok Kim+2 more|arXiv (Cornell University)|May 22, 2017

Image Retrieval and Classification Techniques参考文献 2被引用 8

一句话总结

本文提出了一种深度学习框架，通过结合从预训练卷积神经网络中提取的高层次特征（对象和背景语义），从图像中预测连续的情绪状态（愉悦度和唤醒度），在新收集的众包数据集上实现了最先进性能，其主要贡献在于首次实现了端到端的深度神经网络用于维度情绪预测（VA模型）。

ABSTRACT

An image is a very effective tool for conveying emotions. Many researchers have investigated in computing the image emotions by using various features extracted from images. In this paper, we focus on two high level features, the object and the background, and assume that the semantic information of images is a good cue for predicting emotion. An object is one of the most important elements that define an image, and we find out through experiments that there is a high correlation between the object and the emotion in images. Even with the same object, there may be slight difference in emotion due to different backgrounds, and we use the semantic information of the background to improve the prediction performance. By combining the different levels of features, we build an emotion based feed forward deep neural network which produces the emotion values of a given image. The output emotion values in our framework are continuous values in the 2-dimensional space (Valence and Arousal), which are more effective than using a few number of emotion categories in describing emotions. Experiments confirm the effectiveness of our network in predicting the emotion of images.

研究动机与目标

• 通过利用对象和背景等高层次语义特征，减少图像情绪识别中的情感差距。
• 开发一种深度学习模型，用于预测连续情绪状态（愉悦度和唤醒度），而非离散情绪类别。
• 构建一个新的人工标注大规模图像情绪数据集，使用众包方式标注愉悦度-唤醒度数值。
• 通过结合低层次特征（颜色统计）与预训练网络提取的高层次语义特征，提升情绪预测的输入表征质量。
• 证明对象和背景语义作为图像情绪强预测因子的有效性。

提出的方法

• 从预训练的ImageNet模型（AlexNet和VGG19）中提取高层次语义特征（对象和背景），这些模型已针对图像分类和语义分割任务进行微调。
• 将预训练卷积神经网络最后全连接层的特征作为输入，输入到前馈深度神经网络（FFNN）中进行情绪回归。
• 将低层次特征（颜色统计）与高层次语义特征结合，以丰富情绪预测的输入表征。
• 使用均方误差损失函数，训练FFNN在二维空间（1–9量表）中预测连续的愉悦度和唤醒度值。
• 在训练过程中微调卷积神经网络特征，以使其适应情绪预测任务，提升特征的相关性。
• 采用众包方式收集新数据集，包含10,000张图像，标注有愉悦度和唤醒度数值，用于训练和评估。

实验结果

研究问题

• RQ1 与仅使用低层次特征相比，高层次语义特征（如对象和背景语义）是否能显著提升图像情绪识别性能？
• RQ2 深度前馈神经网络在从图像特征预测连续愉悦度和唤醒度值方面有多有效？
• RQ3 结合对象和背景语义是否比单独使用任一特征带来更好的情绪预测效果？
• RQ4 对象识别的质量在多大程度上影响所提出框架中情绪预测的准确性？
• RQ5 预训练的卷积神经网络能否被有效微调，以改善语义特征在情绪预测中的表征能力？

主要发现

• 所提模型在测试集上达到最低的均方误差（MSE）：愉悦度为1.64，唤醒度为1.47，优于线性回归和支持向量回归。
• 采用微调卷积特征的模型（conv-train）性能优于冻结特征版本（conv-frozen），表明端到端微调的优越性。
• 对象语义与情绪值高度相关，证实图像中的主要对象是情绪基调的强预测因子。
• 背景语义在对象相同时仍有助于区分情绪细微差别，从而提升预测准确率。
• 该模型在不同情绪区域（如高唤醒度与低唤醒度、高愉悦度与低愉悦度）均表现出一致的性能，显示出良好的鲁棒性。
• 新收集的带有愉悦度-唤醒度标注的数据集有望成为未来情感计算研究的重要基准。