[论文解读] A Comprehensive Review of Visual-Textual Sentiment Analysis from Social Media Networks

Israa Khalaf Salman Al-Tameemi, Mohammad‐Reza Feizi‐Derakhshi+2 more|arXiv (Cornell University)|Jul 5, 2022

Sentiment Analysis and Opinion Mining被引用 13

一句话总结

本文全面综述了社交媒体中视觉-文本情感分析，通过深度学习与机器学习技术整合多模态数据（文本与图像）。综合了预处理、特征提取、融合策略及基准数据集的方法，表明多模态方法在情感分类准确率及在医疗、政治、娱乐等领域的适用性方面均优于单模态方法。

ABSTRACT

Social media networks have become a significant aspect of people's lives, serving as a platform for their ideas, opinions and emotions. Consequently, automated sentiment analysis (SA) is critical for recognising people's feelings in ways that other information sources cannot. The analysis of these feelings revealed various applications, including brand evaluations, YouTube film reviews and healthcare applications. As social media continues to develop, people post a massive amount of information in different forms, including text, photos, audio and video. Thus, traditional SA algorithms have become limited, as they do not consider the expressiveness of other modalities. By including such characteristics from various material sources, these multimodal data streams provide new opportunities for optimising the expected results beyond text-based SA. Our study focuses on the forefront field of multimodal SA, which examines visual and textual data posted on social media networks. Many people are more likely to utilise this information to express themselves on these platforms. To serve as a resource for academics in this rapidly growing field, we introduce a comprehensive overview of textual and visual SA, including data pre-processing, feature extraction techniques, sentiment benchmark datasets, and the efficacy of multiple classification methodologies suited to each field. We also provide a brief introduction of the most frequently utilised data fusion strategies and a summary of existing research on visual-textual SA. Finally, we highlight the most significant challenges and investigate several important sentiment applications.

研究动机与目标

• 为多模态自然语言处理与计算机视觉领域的研究人员提供视觉-文本情感分析（V-TSA）技术的系统性概述。
• 识别并分类社交媒体平台中文本与视觉情感信号融合的关键挑战。
• 评估现有分类模型、特征提取方法及数据融合策略在V-TSA中的性能与局限性。
• 突出V-TSA在医疗、股市预测及政治趋势预测等领域的实际应用。
• 通过总结基准数据集、预处理流程及最先进方法，为未来研究提供基础参考。

提出的方法

• 采用系统文献综述原则，对视觉-文本情感分析领域的现有研究进行调研与分类。
• 对文本与视觉数据的预处理技术进行分类，包括文本分词、图像缩放与归一化。
• 回顾特征提取方法，如TF-IDF、词嵌入（例如Word2Vec）以及用于图像与文本表征的基于深度学习的卷积神经网络（CNNs）。
• 分析数据融合策略，如早期融合、晚期融合及早期-融合晚期融合，重点强调注意力机制与基于拼接的融合方法。
• 评估应用于多模态情感分类的分类模型，包括支持向量机（SVM）、随机森林及深度神经网络（DNNs）。
• 映射最广泛使用的基准数据集（如VGG-Face、Twitter-CK、Semeval数据集）及其在V-TSA中的评估协议。

实验结果

研究问题

• RQ1 在情感分析中，针对文本与视觉数据，最有效的预处理与特征提取技术是什么？
• RQ2 不同的数据融合策略（早期融合、晚期融合、早期-融合）如何影响视觉-文本情感分类模型的性能？
• RQ3 在社交媒体内容中，结合视觉与文本情感信号的关键局限性与挑战是什么？
• RQ4 相较于单模态基线，哪些分类模型与架构在多模态情感分析中表现出更优性能？
• RQ5 视觉-文本情感分析的最显著实际应用是什么？它们如何从多模态融合中获益？

主要发现

• 多模态情感分析，特别是结合视觉与文本数据的方法，在情感分类准确率方面持续优于单模态方法。
• 卷积神经网络（CNNs）在视觉特征学习方面表现出强大性能，在基于图像的情感识别中已接近人类水平表现。
• 基于注意力机制的晚期融合等数据融合策略显著提升了情感预测性能，通过利用文本与图像的互补线索。
• 基准数据集如VGG-Face与Twitter-CK提供了标准化的评估资源，但通常存在类别不平衡与多样性有限的问题。
• 在医疗、政治预测及票房预测等应用中，视觉-文本情感分析能够提供比仅基于文本分析更准确、更具上下文感知的洞察。
• 尽管已有进展，但在上下文理解、反语检测及跨文化情感差异方面仍存在挑战，尤其在多模态环境中。