[论文解读] Hateful Memes Detection via Complementary Visual and Linguistic Networks

Weibo Zhang, Guihua Liu+2 more|arXiv (Cornell University)|Dec 9, 2020

Hate Speech and Cyberbullying Detection参考文献 16被引用 14

一句话总结

本文提出了一种互补视觉与语言（CVL）网络用于仇恨表情包检测，通过融合ViLBERT与VisualBERT架构，整合视觉与语言模态的上下文级和敏感对象级特征。该方法在Hateful Memes Challenge 2020测试集上实现了78.48%的AUROC和72.95%的准确率，通过互补的多模态表征学习实现了性能提升。

ABSTRACT

Hateful memes are widespread in social media and convey negative information. The main challenge of hateful memes detection is that the expressive meaning can not be well recognized by a single modality. In order to further integrate modal information, we investigate a candidate solution based on complementary visual and linguistic network in Hateful Memes Challenge 2020. In this way, more comprehensive information of the multi-modality could be explored in detail. Both contextual-level and sensitive object-level information are considered in visual and linguistic embedding to formulate the complex multi-modal scenarios. Specifically, a pre-trained classifier and object detector are utilized to obtain the contextual features and region-of-interests (RoIs) from the input, followed by the position representation fusion for visual embedding. While linguistic embedding is composed of three components, i.e., the sentence words embedding, position embedding and the corresponding Spacy embedding (Sembedding), which is a symbol represented by vocabulary extracted by Spacy. Both visual and linguistic embedding are fed into the designed Complementary Visual and Linguistic (CVL) networks to produce the prediction for hateful memes. Experimental results on Hateful Memes Challenge Dataset demonstrate that CVL provides a decent performance, and produces 78:48% and 72:95% on the criteria of AUROC and Accuracy. Code is available at https://github.com/webYFDT/hateful.

研究动机与目标

• 解决社交媒体中仇恨表情包检测的挑战，因为单模态方法难以应对复杂的多模态交互。
• 克服现有视觉-语言框架在捕捉全局上下文与局部敏感对象级信息方面的局限性。
• 构建一种互补的多模态表征，通过整合图像与文本的上下文及敏感对象级线索，增强特征理解。
• 通过利用预训练模型和一种结合ViLBERT与VisualBERT的新颖融合策略，提升在Hateful Memes Challenge 2020上的性能。

提出的方法

• 在Visual Genome上使用预训练的Faster R-CNN检测器，从输入图像中提取100个感兴趣区域（RoI）特征和边界框。
• 应用位置表示融合，将RoI特征与空间位置编码结合，以增强视觉嵌入。
• 使用基于BERT的标记嵌入、位置编码以及Spacy生成的Sembeddings（Sembedding）构建语言嵌入，用于每个文本。
• 通过ViLBERT（交叉注意力）和VisualBERT（自注意力）将视觉与语言嵌入整合到双流架构中，然后在分类前拼接其最终表征。
• 使用交叉熵损失、Adam优化器、批量大小为80，并在2,000次迭代内对ViLBERT学习率设为1e-5、VisualBERT学习率设为5e-5进行训练。
• 在训练期间应用样本增强策略，以提升同标签样本间的泛化能力。

实验结果

研究问题

• RQ1 将视觉与语言模态的上下文级和敏感对象级特征同时整合，能否提升仇恨表情包检测性能？
• RQ2 与单流或单模态基线相比，通过晚期拼接融合双流视觉-语言模型（ViLBERT与VisualBERT）在性能上提升了多少？
• RQ3 引入基于Spacy的Sembeddings在多模态仇恨检测中，对语言表征的改进程度如何？
• RQ4 所提出的CVL网络是否在Hateful Memes Challenge 2020基准上优于现有的多模态预训练框架？

主要发现

• CVL网络在Hateful Memes Challenge 2020第二阶段测试集上实现了78.48%的AUROC和72.95%的准确率，优于单一模型及先前的多模态基线。
• 通过晚期拼接方式融合ViLBERT与VisualBERT，AUROC相比最佳单一基线（含上下文与Sembedding特征的VisualBERT）提升了4.57个百分点。
• 与仅使用上下文的版本相比，向ViLBERT和VisualBERT中加入Sembeddings分别使AUROC提升了4.77和1.52个百分点。
• 在官方评估中，CVL模型实现了66.2%的准确率和75.02%的AUROC，展现出在复杂真实仇恨表情包样本上的强大泛化能力。
• 双流架构中自注意力与交叉注意力机制的结合，增强了模型对细微仇恨线索的理解能力。
• 所提出的样本增强策略有助于提升模型在未见数据上的鲁棒性与性能。