[论文解读] End-to-End Multimodal Fact-Checking and Explanation Generation: A Challenging Dataset and Models

Barry Menglong Yao, Aditya Shah+3 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用 8

一句话总结

本文提出了 Mocheg，一个大规模基准数据集，用于端到端多模态事实核查与解释生成，包含15,601个声明，配有由人工标注的真实性标签和裁决陈述，以及33,880份文本证据和12,112张图像证据。该研究为多模态证据检索、声明验证和解释生成建立了基线模型，揭示了当前最先进方法在该任务上的显著性能差距。

ABSTRACT

We propose end-to-end multimodal fact-checking and explanation generation, where the input is a claim and a large collection of web sources, including articles, images, videos, and tweets, and the goal is to assess the truthfulness of the claim by retrieving relevant evidence and predicting a truthfulness label (e.g., support, refute or not enough information), and to generate a statement to summarize and explain the reasoning and ruling process. To support this research, we construct Mocheg, a large-scale dataset consisting of 15,601 claims where each claim is annotated with a truthfulness label and a ruling statement, and 33,880 textual paragraphs and 12,112 images in total as evidence. To establish baseline performances on Mocheg, we experiment with several state-of-the-art neural architectures on the three pipelined subtasks: multimodal evidence retrieval, claim verification, and explanation generation, and demonstrate that the performance of the state-of-the-art end-to-end multimodal fact-checking does not provide satisfactory outcomes. To the best of our knowledge, we are the first to build the benchmark dataset and solutions for end-to-end multimodal fact-checking and explanation generation. The dataset, source code and model checkpoints are available at https://github.com/VT-NLP/Mocheg.

研究动机与目标

• 为解决现有事实核查数据集缺乏多模态证据、人工标注标签和可解释性的问题。
• 开发一个端到端框架，联合执行多模态证据检索、声明验证和解释生成。
• 构建一个反映现实世界虚假信息检测挑战的基准，涵盖包括文本、图像和推文在内的多样化网络来源。
• 展示当前最先进模型在处理多模态事实核查与解释完整流程中的不足。
• 为未来可解释性、多模态和开放域事实核查系统的研究提供基础。

提出的方法

• 作者构建了 Mocheg 数据集，包含从 Snopes 和 Politifact 收集的15,601个声明，每个声明均标注有真实性标签（支持/反驳/无）和人工撰写的裁决陈述。
• 从网络来源收集证据，包括33,880段文本段落和12,112张图像，确保多模态多样性与现实相关性。
• 该框架整合了三个子任务：利用声明与异构证据之间的交叉注意力进行多模态证据检索，通过微调的变换器模型进行声明验证，以及使用序列到序列模型进行解释生成。
• 基于最先进的架构（如 BERT、ViT 和 T5）在三个流水线化任务上训练并评估基线模型。
• 系统设计支持端到端学习，实现检索、验证与解释生成之间的联合优化。
• 数据集以 CC BY 4.0 许可发布，代码与模型检查点可在 GitHub 上获取，以支持可复现性与进一步研究。

实验结果

研究问题

• RQ1 现有最先进模型能否在同时包含文本与视觉证据的情况下，实现端到端多模态事实核查的满意性能？
• RQ2 当前模型在为声明验证生成连贯、事实准确且逻辑清晰的解释方面效果如何？
• RQ3 与仅使用文本的方法相比，多模态证据（文本与图像）在多大程度上提升了事实核查性能？
• RQ4 解释生成中的关键失败模式是什么，尤其是在有条理地组织证据与保持逻辑流程方面？
• RQ5 与自动生成的标签和证据相比，人工标注的标签与证据在一致性与可靠性方面表现如何？

主要发现

• 最先进模型在三个子任务——多模态证据检索、声明验证与解释生成——上的表现仍远未达到可接受水平，表明仍有巨大改进空间。
• 基线模型在解释生成中难以保持逻辑连贯性，常无法以有意义的、分步推理的结构组织证据句子。
• 视觉证据的引入提升了事实核查性能，但当前模型未能充分挖掘图像提供的互补信息。
• 解释生成模型常与推理过程脱节，生成的陈述或过于笼统，或与证据无关。
• 数据集显示，涉及复杂或模糊证据（如政策漏洞、财务披露）的声明对自动化系统尤其具有挑战性。
• 本研究证实，先前数据集中自动生成的标签与证据不如人工标注的可靠，从而证明了像 Mocheg 这类高质量基准的必要性。