[论文解读] Do Images really do the Talking? Analysing the significance of Images in Tamil Troll meme classification

Siddhanth U Hegde, Adeep Hande+6 more|arXiv (Cornell University)|Aug 9, 2021

Hate Speech and Cyberbullying Detection参考文献 38被引用 8

一句话总结

本研究探讨了泰米尔语网络迷因中的视觉特征是否能显著提升对垃圾信息内容（troll）与非垃圾信息内容的分类性能。采用单模态（仅文本）与多模态（文本+图像）方法相结合的方式，包括微调的XLM用于文本处理以及带有交叉注意力机制的多模态Transformer模型。研究发现，在小规模、以文本为主的语料上，视觉特征并未提升性能。表现最佳的模型XLM取得了加权F1分数0.57，而多模态模型由于图像中的文字干扰以及数据量有限，表现欠佳，表明对此类任务而言，仅使用文本分析更为有效。

ABSTRACT

A meme is an part of media created to share an opinion or emotion across the internet. Due to its popularity, memes have become the new forms of communication on social media. However, due to its nature, they are being used in harmful ways such as trolling and cyberbullying progressively. Various data modelling methods create different possibilities in feature extraction and turning them into beneficial information. The variety of modalities included in data plays a significant part in predicting the results. We try to explore the significance of visual features of images in classifying memes. Memes are a blend of both image and text, where the text is embedded into the image. We try to incorporate the memes as troll and non-trolling memes based on the images and the text on them. However, the images are to be analysed and combined with the text to increase performance. Our work illustrates different textual analysis methods and contrasting multimodal methods ranging from simple merging to cross attention to utilising both worlds' - best visual and textual features. The fine-tuned cross-lingual language model, XLM, performed the best in textual analysis, and the multimodal transformer performs the best in multimodal analysis.

研究动机与目标

• 确定来自图像的视觉特征是否能显著提升对泰米尔语迷因中垃圾信息内容的分类性能。
• 比较单模态（仅文本）与多模态（文本+图像）方法在迷因分类中的表现。
• 评估预训练视觉模型（如ResNet、ViT）以及多模态Transformer在低资源环境下的有效性。
• 识别在图像中包含嵌入式文字时，多模态学习的局限性，尤其是在低资源、语言混合的泰米尔语数据集中。
• 为在数据有限的迷因分类任务中是否应采用多模态融合提供基于证据的指导建议。

提出的方法

• 对跨语言XLM-RoBERTa模型进行微调，以从语言混合的泰米尔语迷因中提取文本特征。
• 使用ImageNet预训练的视觉模型（ResNet、Vision Transformer）从迷因图像中提取视觉特征。
• 通过简单的拼接、逐元素相加以及多模态Transformer中的交叉注意力机制，将文本与视觉特征进行融合。
• 使用约1,154个泰米尔语IWT（图文混合）迷因的数据集进行模型训练与评估，数据集按训练集、验证集和测试集进行划分。
• 在小规模数据集上应用迁移学习并进行微调，使用Adam优化器和早停策略以减轻过拟合。
• 对误分类样本进行错误分析，以理解失败模式，特别是由于图像中文字过多导致的问题。

实验结果

研究问题

• RQ1 在泰米尔语迷因中引入视觉特征是否能提升垃圾信息分类模型的性能？
• RQ2 不同多模态融合策略（拼接、注意力机制、早期/晚期融合）与仅使用文本的单模态模型相比如何？
• RQ3 尽管具有理论优势，为何视觉特征未能对分类产生显著贡献？
• RQ4 图像中嵌入的文字在多大程度上干扰了预训练模型对视觉特征的提取？
• RQ5 在低资源、语言混合的迷因数据集中，单模态文本分类是否比多模态方法更有效？

主要发现

• 单模态XLM模型取得了最高性能，加权F1分数为0.57，优于所有多模态模型。
• 采用交叉注意力机制的多模态Transformer模型取得了0.55的加权F1分数，仅比简单融合方法略有提升。
• 来自ImageNet预训练模型的视觉特征并未显著提升性能，可能是因为图像中的文字造成了干扰。
• 许多测试集图像中的文字遍布整个图像区域，导致视觉模型将文字视为噪声而非有意义的视觉内容。
• 小规模数据集（1,154张训练图像）以及图像内容的高方差，包括文字重叠或融合的情况，导致视觉特征学习效果不佳。
• 多模态模型中观察到过拟合现象，尤其是复杂架构如多模态Transformer，原因在于数据量有限且模型容量过高。