[论文解读] OutdoorSent: Sentiment Analysis of Urban Outdoor Images by Using Semantic and Deep Features

Wyverson Bonasoli de Oliveira, Leyza Baldo Dorini+2 more|arXiv (Cornell University)|Jun 5, 2019

Sentiment Analysis and Opinion Mining参考文献 44被引用 8

一句话总结

本文提出OutdoorSent，一个用于城市户外图像情感分析的新数据集与框架，结合卷积神经网络（ConvNets）的深层特征与YOLO和SUN的语义属性。结果表明，整合语义场景理解可显著提升多种架构的情感分类准确率，尤其在较简单模型上效果更明显；而室内图像则无法提升性能，且该方法在不同数据集间具有良好的泛化能力，可实现芝加哥地区真实世界的城市情感制图。

ABSTRACT

Opinion mining in outdoor images posted by users during different activities can provide valuable information to better understand urban areas. In this regard, we propose a framework to classify the sentiment of outdoor images shared by users on social networks. We compare the performance of state-of-the-art ConvNet architectures, and one specifically designed for sentiment analysis. We also evaluate how the merging of deep features and semantic information derived from the scene attributes can improve classification and cross-dataset generalization performance. The evaluation explores a novel dataset, namely OutdoorSent, and other datasets publicly available. We observe that the incorporation of knowledge about semantic attributes improves the accuracy of all ConvNet architectures studied. Besides, we found that exploring only images related to the context of the study, outdoor in our case, is recommended, i.e., indoor images were not significantly helpful. Furthermore, we demonstrated the applicability of our results in the city of Chicago, USA, showing that they can help to improve the knowledge of subjective characteristics of different areas of the city. For instance, particular areas of the city tend to concentrate more images of a specific class of sentiment, which are also correlated with median income, opening up opportunities in different fields.

研究动机与目标

• 开发一个用于分类社交媒体上共享的城市户外图像情感的稳健框架。
• 评估将最先进ConvNets的深层特征与YOLO和SUN的语义属性相结合用于情感分类的影响。
• 探究在训练过程中引入室内图像是否能提升情感分类性能。
• 评估所提方法在跨数据集上的泛化性能。
• 通过芝加哥的案例研究，展示其在真实世界中的应用，将情感模式与城市社会经济特征关联。

提出的方法

• 该框架采用五种ConvNet架构——四种通用模型与一种专为图像情感分析设计的模型——在所提出的OutdoorSent数据集上进行训练。
• 使用YOLO9000和SUN场景理解模型提取语义特征，以识别与城市户外情感相关联的高层属性。
• 将每种ConvNet的最后全连接层的深层特征与语义属性向量拼接，形成混合特征表示。
• 利用混合特征训练多分类器，以预测情感为正面、负面或中性。
• 通过在OutdoorSent与公开基准数据集上的实验比较性能，并开展关于室内图像引入与模型泛化能力的消融研究。
• 在芝加哥开展真实世界验证，将情感分布与中位数收入及城市特征进行相关性分析。

实验结果

研究问题

• RQ1 YOLO与SUN提取的语义属性是否能提升城市户外图像的情感分类准确率？
• RQ2 在训练过程中引入室内图像是否会影响情感分类模型的性能？
• RQ3 在准确率与跨数据集泛化能力方面，哪种ConvNet架构表现最佳？
• RQ4 所提框架能否有效识别并映射真实城市环境中的情感模式？
• RQ5 特定语义属性（如污染、涂鸦、自然景观）是否对城市场景的情感极性具有更强预测力？

主要发现

• 将YOLO与SUN的语义属性整合进所有评估的ConvNet架构中，显著提升了准确率，且在较简单模型上提升最为显著。
• 在训练中使用室内图像并未带来显著性能提升，且计算成本增加，因此不具合理性。
• 最简单的ConvNet架构在所有评估场景中均展现出最强的跨数据集泛化能力。
• 大多数负面图像（约80%）与城市问题相关，如建筑废墟、污染、涂鸦及维护不良。
• 大多数正面图像（约83%）与自然景观、日落、城市夜景、艺术纪念碑及娱乐活动相关。
• 研究发现，现有场景理解模型如YOLO9000与SUN对情感相关城市户外属性的覆盖仍不足，表明需要针对特定领域进行架构扩展。