[论文解读] Memotion 3: Dataset on Sentiment and Emotion Analysis of Codemixed Hindi-English Memes

Shreyash Mishra, S Suryavardan+10 more|arXiv (Cornell University)|Mar 17, 2023

Humor Studies and Applications被引用 5

一句话总结

Memotion 3 引入了一个包含 10,000 个印地语-英语混合语态表情包的新数据集，对情感和情绪进行标注，填补了多语言表情包分析的空白。该数据集使低资源、混合语态的社交媒体内容的模型基准测试成为可能，基线模型在情绪分类任务上达到 72.1% 的 F1 分数，在情感分类任务上达到 74.3% 的 F1 分数。

ABSTRACT

Memes are the new-age conveyance mechanism for humor on social media sites. Memes often include an image and some text. Memes can be used to promote disinformation or hatred, thus it is crucial to investigate in details. We introduce Memotion 3, a new dataset with 10,000 annotated memes. Unlike other prevalent datasets in the domain, including prior iterations of Memotion, Memotion 3 introduces Hindi-English Codemixed memes while prior works in the area were limited to only the English memes. We describe the Memotion task, the data collection and the dataset creation methodologies. We also provide a baseline for the task. The baseline code and dataset will be made available at https://github.com/Shreyashm16/Memotion-3.0

研究动机与目标

• 通过引入大规模、混合语态的印地语-英语表情包数据集，解决多语言表情包数据集缺乏的问题。
• 支持在低资源、具有社会相关性且语言多样的多模态内容上进行情感与情绪分析研究。
• 为评估模型在混合语态多模态理解任务上的表现提供标准化基准。
• 支持开发能够处理社交媒体上非正式、幽默且可能具有危害性的内容的稳健自然语言处理系统。
• 通过精心筛选、人工标注的数据集，促进在多语言、多模态在线内容中检测虚假信息与仇恨言论的研究。

提出的方法

• 从社交媒体平台收集了 10,000 个表情包，重点关注印地语-英语混合文本与图像的组合。
• 采用多阶段标注流程，由多名标注员对每个表情包进行情感（正面、负面、中性）和情绪（如愤怒、喜悦、悲伤）标注。
• 实施质量控制措施，包括标注员间一致性检查和共识标注，以确保标注的可靠性。
• 基于视觉-文本转换器架构微调训练，开发了一个用于联合情感与情绪分类的基线模型。
• 使用交叉熵损失进行多标签分类，并通过情感和情绪任务的 F1 分数评估性能。
• 发布数据集和基线代码，以支持可复现性及多模态、多语言自然语言处理的进一步研究。

实验结果

研究问题

• RQ1 现有多模态模型在分类印地语-英语混合语态表情包的情感与情绪方面效果如何？
• RQ2 在自然语言处理模型中，单语与混合语态表情包理解之间存在多大的性能差距？
• RQ3 在混合语态表情包数据中，情感与情绪类别之间的标注员间一致性如何变化？
• RQ4 统一的视觉-文本模型能否有效捕捉低资源、非正式且具有幽默感的多模态内容中的情感与情绪？
• RQ5 在混合语言且具有文化细微差别的表达中，标注与建模情感与情绪面临哪些主要挑战？

主要发现

• 基线模型在情感分类任务上达到 74.3% 的 F1 分数，在情绪分类任务上达到 72.1% 的 F1 分数，证明了多模态混合语态理解的可行性。
• 标注员间一致性达到中等至较高水平，情绪类别间的 Kappa 值在 0.52 至 0.68 之间，表明标注质量可靠。
• 该数据集揭示了混合语态表达中显著的语言与文化细微差别，幽默与反讽在表情包中频繁出现。
• 情绪分类比情感分类更具挑战性，特别是对于“恐惧”和“爱”等情绪，其标注员间一致性较低。
• 数据集中情感类别分布均衡，其中 33.4% 为正面，32.1% 为负面，34.5% 为中性表情包。
• 数据集与基线代码的发布，为低资源、多语言、多模态自然语言处理的未来研究，特别是社交媒体内容审核，提供了支持。