[论文解读] A Multi-Modal Method for Satire Detection using Textual and Visual Cues

Lily Li, Or Levi+2 more|arXiv (Cornell University)|Oct 13, 2020

Humor Studies and Applications参考文献 13被引用 10

一句话总结

该论文提出了一种多模态讽刺检测模型，结合ViLBERT进行图文联合理解以及图像取证技术以检测图像篡改，在新创建的10,000条新闻标题与缩略图数据集上，优于单模态和简单融合基线模型。该方法实现了98.03%的F1分数，表明联合视觉-文本推理显著提升了讽刺检测性能，优于仅使用文本或仅使用图像的方法。

ABSTRACT

Satire is a form of humorous critique, but it is sometimes misinterpreted by readers as legitimate news, which can lead to harmful consequences. We observe that the images used in satirical news articles often contain absurd or ridiculous content and that image manipulation is used to create fictional scenarios. While previous work have studied text-based methods, in this work we propose a multi-modal approach based on state-of-the-art visiolinguistic model ViLBERT. To this end, we create a new dataset consisting of images and headlines of regular and satirical news for the task of satire detection. We fine-tune ViLBERT on the dataset and train a convolutional neural network that uses an image forensics technique. Evaluation on the dataset shows that our proposed multi-modal approach outperforms image-only, text-only, and simple fusion baselines.

研究动机与目标

• 为应对讽刺新闻常被误认为真实新闻而传播虚假信息的日益严重问题。
• 探究视觉线索（尤其是图像篡改）是否能超越纯文本方法，提升讽刺新闻检测效果。
• 创建一个包含10,000篇新闻文章（6,000条事实性，4,000条讽刺性）的新型多模态数据集，包含标题与缩略图，以支持讽刺检测研究。
• 评估多模态融合的有效性，特别是使用预训练视觉-语言模型（如ViLBERT）在区分讽刺新闻与真实新闻方面的表现。

提出的方法

• 作者从10家信誉良好的媒体来源（包括主流媒体和知名讽刺网站）收集了10,000篇新闻文章（6,000条事实性，4,000条讽刺性），构建了新数据集。
• 在该数据集上微调视觉-语言BERT（ViLBERT）模型，利用其联合注意力Transformer架构，联合处理文本与图像特征。
• 额外训练了一个ELA+CNN模型，通过边缘增强高斯拉普拉斯（ELA）预处理和卷积神经网络，检测图像篡改。
• 将ViLBERT的性能与单模态基线模型（BERT BASE用于文本，ResNet-101与ELA+CNN用于图像）以及简单融合方法（平均融合与拼接融合）进行比较。
• 该模型通过联合注意力层实现早期、深度融合，使视觉与文本表示在注意力计算过程中相互交互。
• 将数据集划分为训练集、验证集与测试集，并使用准确率、F1分数与AUC-ROC指标进行评估。

实验结果

研究问题

• RQ1 视觉线索（尤其是图像篡改）是否能超越纯文本分析，提升讽刺新闻检测效果？
• RQ2 使用预训练视觉-语言模型（如ViLBERT）的多模态方法是否优于单模态或简单融合方法？
• RQ3 ELA等图像取证技术在讽刺新闻缩略图中检测篡改的效能如何？
• RQ4 为何部分讽刺或事实性新闻文章会被模型错误分类？其主要失败模式是什么？

主要发现

• ViLBERT实现了最高性能，F1分数达到98.03%，显著优于次优模型BERT BASE的93.80% F1分数。
• 仅使用图像的模型ELA+CNN表现甚至低于随机猜测水平，准确率仅为44.20%，可能由于图像重存与压缩导致可检测的错误模式减弱。
• 简单融合模型（平均与拼接）仅比BERT BASE有微小提升，表明早期、深度融合优于后期或逐元素融合。
• 错误分类分析揭示了三种主要失败模式：误解隐喻性语言（如标题中的“bursts”）、缺乏政治知识（如无法识别荒谬的政治对比）、无法区分离奇但真实的故事与虚构内容。
• 即使图像未被修改，模型在处理使用比喻语言的标题时仍表现不佳，表明其在理解语言细微差别方面存在局限。
• 尽管ELA+CNN表现不佳，本研究仍证实，当与深度多模态学习结合时，图像取证技术可成为有价值的信号，尤其在图像未被严重压缩时。