[论文解读] OutdoorSent: Can Semantic Features Help Deep Learning in Sentiment Analysis of Outdoor Images?

Wyverson Bonasoli de Oliveira, Leyza Baldo Dorini+2 more|arXiv (Cornell University)|Jun 5, 2019

Human Mobility and Location-Based Analysis被引用 1

一句话总结

本文提出了一种深度学习框架，通过将语义场景属性与卷积神经网络（ConvNet）特征相结合，提升了户外社交媒体图像的情感分析性能。结果表明，将深度特征与语义知识结合可提高多种架构下的准确率和跨数据集泛化能力，其中户外特定数据相比室内图像更具有效性。

ABSTRACT

Opinion mining in outdoor images posted by users during different activities can provide valuable information to better understand urban areas. In this regard, we propose a framework to classify the sentiment of outdoor images shared by users on social networks. We compare the performance of state-of-the-art ConvNet architectures, and one specifically designed for sentiment analysis. We also evaluate how the merging of deep features and semantic information derived from the scene attributes can improve classification and cross-dataset generalization performance. The evaluation explores a novel dataset, namely OutdoorSent, and other datasets publicly available. We observe that the incorporation of knowledge about semantic attributes improves the accuracy of all ConvNet architectures studied. Besides, we found that exploring only images related to the context of the study, outdoor in our case, is recommended, i.e., indoor images were not significantly helpful. Furthermore, we demonstrated the applicability of our results in the city of Chicago, USA, showing that they can help to improve the knowledge of subjective characteristics of different areas of the city. For instance, particular areas of the city tend to concentrate more images of a specific class of sentiment, which are also correlated with median income, opening up opportunities in different fields.

研究动机与目标

• 开发一种用于分类社交媒体上分享的户外图像情感的深度学习框架。
• 评估将语义场景属性与深度卷积特征结合对情感分类性能的影响。
• 评估模型在不同数据集上的泛化能力，特别是在真实城市环境中的表现。
• 探究在城市环境中，户外特定图像是否比室内图像对情感分析更具信息量。

提出的方法

• 利用最先进的ConvNet架构（包括一种专为情感分析设计的模型）从户外图像中提取深度特征。
• 使用预训练模型从图像中提取语义属性，以捕捉光照、天气和城市元素等场景级上下文信息。
• 通过拼接或基于注意力的融合机制，将深度特征与语义属性融合，以增强表征学习。
• 在新构建的数据集OutdoorSent以及公开可用的基准数据集上训练并评估融合模型，以评估性能与泛化能力。
• 将训练好的模型应用于来自美国芝加哥的真实城市数据，分析城市不同社区的情感分布。
• 采用跨数据集评估方法，测试所学表征的鲁棒性与可迁移性。

实验结果

研究问题

• RQ1 将语义属性与深度特征结合是否能提升户外图像情感分类的准确率？
• RQ2 该框架在不同ConvNet架构上进行户外图像情感分析时，性能表现如何？
• RQ3 与室内图像相比，户外特定图像在情感分类中的贡献程度如何？
• RQ4 该模型能否在不同数据集和城市环境中实现有效泛化？
• RQ5 城市区域的情感分布与中位数收入等社会经济指标之间是否存在相关性？

主要发现

• 语义属性的引入显著提升了所有评估的ConvNet架构在情感分类任务中的准确率。
• 仅使用户外图像训练的模型优于包含室内图像的模型，表明在该场景下室内数据对性能提升作用有限。
• 所提出的框架展现出更强的跨数据集泛化能力，表明其在多样化城市环境中的鲁棒性。
• 芝加哥的情感分布与中位数收入等社会经济因素存在相关性，表明该模型在城市规划与社会科学研究中具有实际应用价值。
• 该模型成功识别出特定城市区域的情感聚类，揭示了城市空间的主观特征。