[论文解读] Deriving Emotions and Sentiments from Visual Content: A Disaster Analysis Use Case

Kashif Ahmad, Syed Zohaib Hassan+2 more|arXiv (Cornell University)|Feb 3, 2020

Sentiment Analysis and Opinion Mining参考文献 15被引用 5

一句话总结

本文提出了一种基于深度学习的视觉情感分析器，用于灾难相关图像，利用ImageNet和Places数据集上预训练模型的物体和场景级特征。通过融合VGGNet模型，该方法实现了81.34%的最先进准确率，表明结合物体和背景特征能显著提升复杂真实视觉内容中的情感预测性能。

ABSTRACT

Sentiment analysis aims to extract and express a person's perception, opinions and emotions towards an entity, object, product and a service, enabling businesses to obtain feedback from the consumers. The increasing popularity of the social networks and users' tendency towards sharing their feelings, expressions and opinions in text, visual and audio content has opened new opportunities and challenges in sentiment analysis. While sentiment analysis of text streams has been widely explored in the literature, sentiment analysis of images and videos is relatively new. This article introduces visual sentiment analysis and contrasts it with textual sentiment analysis with emphasis on the opportunities and challenges in this nascent research area. We also propose a deep visual sentiment analyzer for disaster-related images as a use-case, covering different aspects of visual sentiment analysis starting from data collection, annotation, model selection, implementation and evaluations. We believe such rigorous analysis will provide a baseline for future research in the domain.

研究动机与目标

• 为解决复杂真实灾难图像中视觉情感分析的空白，此类图像包含多个物体和丰富的背景细节。
• 开发一个稳健的端到端视觉情感分析流程，包括数据收集、众包标注和模型训练。
• 评估结合物体级（ImageNet）和场景级（Places）特征在提升情感预测准确率方面的有效性。
• 为未来在视觉情感分析领域的研究建立基线，特别是在灾难响应和人道主义援助等垂直领域。

提出的方法

• 从社交媒体和新闻来源收集灾难相关图像，聚焦于具有高情感含量的真实事件。
• 通过众包研究对图像进行多标签情感类别标注，确保真实标签的可靠性。
• 采用在灾难图像数据上微调的预训练深度学习模型（AlexNet、VGGNet、Inception-v3、ResNet），利用来自ImageNet（物体级）和Places（场景级）数据集的特征。
• 通过结合在ImageNet和Places上预训练的模型的预测结果，实施晚期融合策略，以增强特征表示。
• 使用标准准确率指标在多个深度学习架构上评估性能。
• 使用迁移学习，将大规模数据集上预训练的模型适配到灾难图像情感分析的特定任务上。

实验结果

研究问题

• RQ1 预训练的深度学习模型在捕捉包含复杂场景和多个物体的灾难相关图像中的情感方面有多有效？
• RQ2 物体级特征（来自ImageNet）与场景级特征（来自Places）在视觉情感分析中的相对贡献是什么？
• RQ3 联合使用物体和场景特征是否能提升情感预测准确率，相较于单独使用任一特征？
• RQ4 与现有方法相比，所提出的框架在具有挑战性的现实世界数据集上的性能和鲁棒性如何？
• RQ5 在情感强烈、非面部视觉刺激中，定义和提取视觉内容情感的关键挑战是什么？

主要发现

• 所提出的深度视觉情感分析器通过在ImageNet和Places数据集上预训练的VGGNet模型进行晚期融合，实现了81.34%的准确率。
• Inception-v3在所测试的模型中表现最佳，达到80.70%的准确率。
• 使用ImageNet预训练模型（VGGNet）相比Places预训练模型，准确率提升了0.5%，表明物体级特征的重要性。
• 融合ImageNet和Places特征带来了显著的性能提升，证实物体和背景细节在复杂图像情感理解中均至关重要。
• 研究表明，灾难图像中的情感不仅来自面部表情，还来自上下文和环境线索，因此需要多模态特征融合。
• 众包在数据标注方面表现有效，但标签选择仍是关键挑战，表明需要基于数据而非预定义的情感类别。