[论文解读] Exercise? I thought you said 'Extra Fries': Leveraging Sentence Demarcations and Multi-hop Attention for Meme Affect Analysis

Shraman Pramanick, Md Shad Akhtar+1 more|arXiv (Cornell University)|Mar 23, 2021

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

本文提出 MHA-Meme，一种基于多跳注意力机制的深度学习框架，通过利用细粒度的文本片段与图像之间的对应关系，实现多模态表情包情感分析。通过整合单模态注意力与多模态融合机制，MHA-Meme 在 SemEval-2020 表情包情感分析数据集上，于情感分类、情感分类和情感量化三项任务中均达到最先进性能，相较于顶尖竞赛系统，在 F1 分数上实现了 0.5% 至 2.2% 的稳定提升。

ABSTRACT

Today's Internet is awash in memes as they are humorous, satirical, or ironic which make people laugh. According to a survey, 33% of social media users in age bracket [13-35] send memes every day, whereas more than 50% send every week. Some of these memes spread rapidly within a very short time-frame, and their virality depends on the novelty of their (textual and visual) content. A few of them convey positive messages, such as funny or motivational quotes; while others are meant to mock/hurt someone's feelings through sarcastic or offensive messages. Despite the appealing nature of memes and their rapid emergence on social media, effective analysis of memes has not been adequately attempted to the extent it deserves. In this paper, we attempt to solve the same set of tasks suggested in the SemEval'20-Memotion Analysis competition. We propose a multi-hop attention-based deep neural network framework, called MHA-MEME, whose prime objective is to leverage the spatial-domain correspondence between the visual modality (an image) and various textual segments to extract fine-grained feature representations for classification. We evaluate MHA-MEME on the 'Memotion Analysis' dataset for all three sub-tasks - sentiment classification, affect classification, and affect class quantification. Our comparative study shows sota performances of MHA-MEME for all three tasks compared to the top systems that participated in the competition. Unlike all the baselines which perform inconsistently across all three tasks, MHA-MEME outperforms baselines in all the tasks on average. Moreover, we validate the generalization of MHA-MEME on another set of manually annotated test samples and observe it to be consistent. Finally, we establish the interpretability of MHA-MEME.

研究动机与目标

• 解决结合视觉与文本模态、具有复杂上下文依赖含义的表情包中的多模态情感分析挑战。
• 克服现有模型在情感、幽默、反讽、冒犯与动机分类任务中表现不一致的局限性。
• 开发一种能够捕捉文本片段与图像区域之间细粒度交互的框架，以提升表情包中的情感理解。
• 通过 LIME 与注意力可视化确保模型可解释性，提升预测结果的可信度与透明度。
• 在表情包情感分析共享任务的三项子任务——情感、情感分类与情感量化中，实现一致且优越的性能。

提出的方法

• 将表情包中的前景文本划分为独立的短语或句子，以实现对文本内容的细粒度分析。
• 应用多跳注意力机制，从每个文本片段中提取上下文表征，聚焦于相关语义单元。
• 为视觉特征提取使用独立的多跳注意力模块，从图像区域学习空间感知表征。
• 实现基于注意力的多模态融合模块，计算文本片段与图像特征之间的跨模态交互。
• 通过最后一层多跳注意力层，聚合所有文本片段的丰富多模态表征，以优化上下文感知表征。
• 将最终融合的表征送入分类头，实现情感与情感预测任务的端到端训练。

实验结果

研究问题

• RQ1 多跳注意力机制是否能有效建模表情包中文本片段与图像区域之间的细粒度交互？
• RQ2 所提出的 MHA-Meme 框架是否在 Memotion Analysis 数据集的情感分类、情感分类与情感量化任务中优于现有最先进模型？
• RQ3 与基线系统相比，MHA-Meme 在不同情感维度（幽默、反讽、冒犯、动机）上的表现是否具有一致性？
• RQ4 注意力权重与基于 LIME 的解释在多大程度上能提供对 MHA-Meme 预测结果的忠实且可解释的洞察？
• RQ5 句子分隔与多模态注意力的结合是否能提升模型在未见、人工标注的表情包样本上的泛化能力？

主要发现

• MHA-Meme 在 SemEval-2020 表情包情感分析共享任务的全部三项任务中均达到最先进性能，相较于基线系统，F1 分数提升范围为 +0.5% 至 +2.2%。
• 在全部八个情感维度中，该模型优于全部 11 个基线系统，在四项维度中获得第 1 名，三项获得第 2 名，一项获得第 3 名。
• 在情感分类与量化任务中，MHA-Meme 在四种情感类型（幽默、反讽、冒犯与动机）中均表现出一致性能，而基线系统则表现不一致。
• 基于 LIME 的解释表明，模型正确识别出显著图像区域（如微笑脸）与关键文本词（如 'SMILE'、'MORE'）作为正向情感预测的主要贡献因素。
• MHA-Meme 可视化的注意力权重与 LIME 解释一致，表明模型聚焦于语义相关的词元，如文本中的 'SMILE' 与图像中对应的面部特征。
• 该模型在官方测试集之外的人工标注测试样本上也表现出良好的泛化能力，保持了稳定的性能与可解释性。