[论文解读] Findings of Factify 2: Multimodal Fake News Detection
本文介绍了在 AAAI 2023 举办的 Factify 2 共享任务的成果，该任务是一项多模态虚假新闻检测挑战，旨在通过五种类别的多模态关系，利用配对的文本和图像证据来验证社交媒体声明。最佳模型使用 DeBERTa 处理文本、SwinV2/CLIP 处理视觉信息，取得了 81.82% 的 F1 分数，展示了在多模态事实核查任务中的最先进性能。
With social media usage growing exponentially in the past few years, fake news has also become extremely prevalent. The detrimental impact of fake news emphasizes the need for research focused on automating the detection of false information and verifying its accuracy. In this work, we present the outcome of the Factify 2 shared task, which provides a multi-modal fact verification and satire news dataset, as part of the DeFactify 2 workshop at AAAI'23. The data calls for a comparison based approach to the task by pairing social media claims with supporting documents, with both text and image, divided into 5 classes based on multi-modal relations. In the second iteration of this task we had over 60 participants and 9 final test-set submissions. The best performances came from the use of DeBERTa for text and Swinv2 and CLIP for image. The highest F1 score averaged for all five classes was 81.82%.
研究动机与目标
- 开发并评估利用文本和视觉证据的自动化多模态虚假新闻检测系统。
- 通过共享任务框架应对社交媒体上日益严重的虚假信息挑战。
- 提供一个包含五种类别多模态关系的基准数据集，用于事实核查与讽刺检测。
- 比较不同多模态架构在检测虚假或讽刺性声明方面的性能。
提出的方法
- 任务采用配对输入格式：社交媒体声明与包含文本和图像的支撑文档相匹配。
- 使用 DeBERTa 对文本特征进行编码，DeBERTa 是自然语言理解领域的最先进 Transformer 模型。
- 使用 SwinV2 和 CLIP 提取图像特征，二者均为预训练的视觉-语言理解模型。
- 将多模态表示进行融合，将声明分类为与支撑证据关系相关的五种类别之一。
- 模型在包含 9 个最终提交结果的共享测试集上进行训练与评估，参与者超过 60 人。
- 该框架强调基于比较的事实核查，要求模型利用多模态证据评估声明的真实性。
实验结果
研究问题
- RQ1当同时提供文本和图像证据时，多模态模型在检测虚假新闻方面的表现如何？
- RQ2在多模态事实核查任务中，不同视觉编码器（SwinV2、CLIP）的表现如何比较？
- RQ3DeBERTa 在事实核查场景下，对理解文本声明和支撑文档的能力有多强？
- RQ4多模态融合策略在不同声明-证据关系类型上的分类准确率影响如何？
- RQ5在该新基准上，多模态虚假新闻检测的性能上限是多少？
主要发现
- 表现最佳的模型在五种类别多模态关系上的平均 F1 得分为 81.82%。
- DeBERTa 在事实核查场景下对理解文本声明和支撑文档表现出强劲性能。
- SwinV2 和 CLIP 模型提供了稳健的视觉表征，显著提升了多模态融合的性能。
- 该共享任务吸引了超过 60 名参与者，最终有 9 个提交结果，表明社区在多模态事实核查领域的高度参与。
- 该数据集与评估框架为未来多模态虚假新闻检测研究提供了全面的基准。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。