[论文解读] MMTF-DES: A Fusion of Multimodal Transformer Models for Desire, Emotion, and Sentiment Analysis of Social Media Data

Abdul Aziz, Nihad Karim Chowdhury+3 more|arXiv (Cornell University)|Oct 22, 2023

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文提出 MMTF-DES，一种统一的多模态 Transformer 框架，通过融合 ViLT 和 VAuLT 编码器，联合分析社交媒体图文对中的欲望、情感与情绪。通过采用早期特征融合与多样本 Dropout 技术，其在 MSED 基准数据集上实现了最先进性能，情感分析提升 3%，情绪分析提升 2.2%，欲望分析提升 1%。

ABSTRACT

Desire is a set of human aspirations and wishes that comprise verbal and cognitive aspects that drive human feelings and behaviors, distinguishing humans from other animals. Understanding human desire has the potential to be one of the most fascinating and challenging research domains. It is tightly coupled with sentiment analysis and emotion recognition tasks. It is beneficial for increasing human-computer interactions, recognizing human emotional intelligence, understanding interpersonal relationships, and making decisions. However, understanding human desire is challenging and under-explored because ways of eliciting desire might be different among humans. The task gets more difficult due to the diverse cultures, countries, and languages. Prior studies overlooked the use of image-text pairwise feature representation, which is crucial for the task of human desire understanding. In this research, we have proposed a unified multimodal transformer-based framework with image-text pair settings to identify human desire, sentiment, and emotion. The core of our proposed method lies in the encoder module, which is built using two state-of-the-art multimodal transformer models. These models allow us to extract diverse features. To effectively extract visual and contextualized embedding features from social media image and text pairs, we conducted joint fine-tuning of two pre-trained multimodal transformer models: Vision-and-Language Transformer (ViLT) and Vision-and-Augmented-Language Transformer (VAuLT). Subsequently, we use an early fusion strategy on these embedding features to obtain combined diverse feature representations of the image-text pair. This consolidation incorporates diverse information about this task, enabling us to robustly perceive the context and image pair from multiple perspectives.

研究动机与目标

• 为解决社交媒体中多模态人类欲望理解这一尚未充分探索的挑战，该挑战与情感和情绪紧密关联，但缺乏稳健的建模框架。
• 克服先前研究中忽略图文成对特征表示的局限，尤其在捕捉细微人类欲望方面。
• 开发一种统一的端到端框架，利用多模态 Transformer 编码器联合建模欲望、情感与情绪。
• 通过在融合的多模态表示上应用新颖的多样本 Dropout 策略，提升模型泛化能力与训练效率。
• 在新提出的 MSED 基准数据集上验证早期融合与多模态表征学习的有效性。

提出的方法

• 该方法采用两个预训练的多模态 Transformer——视觉与语言 Transformer（ViLT）和视觉与增强语言 Transformer（VAuLT）——在 MSED 数据集的图文对上进行联合微调。
• 通过将 ViLT 和 VAuLT 提取的上下文视觉与文本嵌入进行拼接，采用早期融合策略，构建统一的多模态表征。
• 在融合表征上应用多样本 Dropout 机制，以增强泛化能力并加速训练。
• 框架端到端训练，联合预测每个图文对的三个标签：欲望、情感与情绪。
• 模型利用视觉与文本模态之间的相互作用，捕捉输入对中的模态内与模态间关系。
• 引入一种新的二分类欲望分析任务，以更好地评估与理解模型在检测与欲望相关的内容方面的能力。

实验结果

研究问题

• RQ1 ViLT 与 VAuLT 表征的早期融合在提升多模态欲望、情感与情绪理解方面有多有效？
• RQ2 在所提出的 MMTF-DES 框架中，多样本 Dropout 在提升泛化能力与训练速度方面达到何种程度？
• RQ3 MMTF-DES 在 MSED 基准数据集上的联合欲望、情感与情绪分析中，相较于最先进方法表现如何？
• RQ4 所提出的框架能否有效捕捉未明确表达但通过图文对隐含体现的细微人类欲望？
• RQ5 单个模型的错误模式是什么？早期融合如何纠正这些错误？

主要发现

• MMTF-DES 在 MSED 基准数据集上，情感分析超越现有 SOTA 方法 3%，情绪分析超越 2.2%，欲望分析超越约 1%。
• 早期融合策略使模型能够正确分类单个模型（ViLT 与 VAuLT）失败的样本，通过互补特征学习展现出更强鲁棒性。
• 多样本 Dropout 机制提升了模型泛化能力并加速了训练，为所有任务带来平均 1.7% 的性能增益。
• 错误分析表明，该框架能成功分类复杂多模态样本——如涉及微妙情绪或欲望驱动线索的样本——而单模型预测会失败。
• 所提出的二分类欲望分析任务揭示，MMTF-DES 能有效捕捉隐含的欲望信号，提升可解释性与任务特定性能。
• 模型展现出强大的模态交互能力，视觉与文本特征在所有三项分类任务中均对准确预测有显著贡献。