[论文解读] Classification of Multimodal Hate Speech -- The Winning Solution of Hateful Memes Challenge

Xiayu Zhong|arXiv (Cornell University)|Dec 2, 2020

Hate Speech and Cyberbullying Detection参考文献 16被引用 13

一句话总结

本文提出了一种混合多模态仇恨言论分类模型，结合预训练视觉-语言模型（如 VisualBERT）与数据驱动规则，在 Hateful Memes 挑战赛中实现了最先进性能。通过从训练数据中提取规则以处理困难的“3元组”和“2元组”表情包，应用 MRM 微调，并采用 K 折交叉验证与模型堆叠，该方法在准确率上达到 86.8%，AUROC 达到 0.923，位列竞赛第一。

ABSTRACT

Hateful Memes is a new challenge set for multimodal classification, focusing on detecting hate speech in multimodal memes. Difficult examples are added to the dataset to make it hard to rely on unimodal signals, which means only multimodal models can succeed. According to Kiela,the state-of-the-art methods perform poorly compared to humans (64.73% vs. 84.7% accuracy) on Hateful Memes. I propose a new model that combined multimodal with rules, which achieve the first ranking of accuracy and AUROC of 86.8% and 0.923 respectively. These rules are extracted from training set, and focus on improving the classification accuracy of difficult samples.

研究动机与目标

• 解决互联网表情包中多模态仇恨言论分类的挑战，因单模态信号不足，仇恨言论具有细微且依赖上下文的特征。
• 提升对依赖图像-文本交互而非孤立线索的困难且模糊表情包的分类性能。
• 通过基于规则的后处理与数据增强，克服现有多模态模型在处理罕见或复杂表情包模式时的局限性。
• 在真实世界中高度不平衡、标注数据有限的多模态分类场景下，最大化 AUROC 与准确率。

提出的方法

• 对 VisualBERT 进行微调，并应用掩码区域建模（MRM）以提升在仇恨表情包数据集上的视觉特征表示学习能力。
• 从训练数据中提取分类规则——特别针对具有重复图像或文本的“3元组”和“2元组”表情包——以生成伪标签。
• 通过将规则标注的“3元组”测试样本注入训练集，实施半监督学习，以提升模型泛化能力。
• 在模型堆叠前使用基于规则的概率校正调整模型预测，结果表明预堆叠调整优于后堆叠调整。
• 采用 5 折交叉验证，共使用 20 个独立模型（4 个基模型 × 5 折），并通过简单等权重平均法进行最终集成预测。
• 采用模型堆叠，对 20 个基模型预测结果进行等权重平均，以降低过拟合风险并提升鲁棒性。

实验结果

研究问题

• RQ1 基于规则的后处理是否能显著提升在困难且模糊的表情包上的多模态仇恨言论检测性能？
• RQ2 通过规则提取的伪标签进行半监督数据注入，在有限训练数据下能在多大程度上提升模型性能？
• RQ3 与标准微调相比，对预训练的 VisualBERT 应用 MRM 是否能提升其在 Hateful Memes 基准上的表现？
• RQ4 在基模型阶段早期应用规则与在堆叠预测阶段晚期应用规则，哪种方式在提升 AUROC 和准确率方面更有效？
• RQ5 结合深度学习与符号规则的混合方法是否能在多模态仇恨言论检测中超越纯神经网络模型？

主要发现

• 该混合模型在 Hateful Memes 挑战赛中达到 86.8% 的准确率与 0.923 的 AUROC，位列第一。
• 对 VisualBERT 应用 MRM 将最佳表现变体的 AUROC 从 0.726 提升至 0.740，证明了其有效性。
• 对“3元组”表情包进行基于规则的标注使 AUROC 与准确率均提升超过 10%，证明了半监督数据注入的价值。
• 在模型堆叠前使用规则 2 校正预测，使 AUROC 提升 3.2%，优于后堆叠调整。
• 对 20 个交叉验证模型进行等权重平均，优于更复杂的堆叠方法（如逻辑回归或 MLP）。
• 该方法显著提升了对困难样本（尤其是“3元组”和“2元组”表情包）的性能，证明了基于规则的推理可有效补充深度学习在多模态 NLP 中的应用。