[论文解读] Breaking Language Barriers with MMTweets: Advancing Cross-Lingual Debunked Narrative Retrieval for Fact-Checking

Iknoor Singh, Carolina Scarton+2 more|arXiv (Cornell University)|Aug 10, 2023

Misinformation and Its ImpactsSocial Sciences被引用 3

一句话总结

本文提出 MMTweets，一个包含 1,600 条印地语、西班牙语、葡萄牙语和英语的多语言虚假信息推文及其对应的跨语言事实核查文章的多语言数据集，并提出一种多阶段检索框架，该框架在跨语言辟谣叙事检索任务中优于 BM25 和微调后的多语言 Transformer 模型，无需特定任务微调即可实现零样本和跨领域迁移。

ABSTRACT

Finding previously debunked narratives involves identifying claims that have already undergone fact-checking. The issue intensifies when similar false claims persist in multiple languages, despite the availability of debunks for several months in another language. Hence, automatically finding debunks (or fact-checks) in multiple languages is crucial to make the best use of scarce fact-checkers' resources. Mainly due to the lack of readily available data, this is an understudied problem, particularly when considering the cross-lingual scenario, i.e. the retrieval of debunks in a language different from the language of the online post being checked. This study introduces cross-lingual debunked narrative retrieval and addresses this research gap by: (i) creating Multilingual Misinformation Tweets (MMTweets): a dataset that stands out, featuring cross-lingual pairs, images, human annotations, and fine-grained labels, making it a comprehensive resource compared to its counterparts; (ii) conducting an extensive experiment to benchmark state-of-the-art cross-lingual retrieval models and introducing multistage retrieval methods tailored for the task; and (iii) comprehensively evaluating retrieval models for their cross-lingual and cross-dataset transfer capabilities within MMTweets, and conducting a retrieval latency analysis. We find that MMTweets presents challenges for cross-lingual debunked narrative retrieval, highlighting areas for improvement in retrieval models. Nonetheless, the study provides valuable insights for creating MMTweets datasets and optimising debunked narrative retrieval models to empower fact-checking endeavours. The dataset and annotation codebook are publicly available at https://doi.org/10.5281/zenodo.10637161.

研究动机与目标

• 解决在查询推文的语言与已辟谣叙事语言不同时的检索挑战，特别是在低资源多语言环境中。
• 克服缺乏用于跨语言事实核查检索的标注数据集，尤其是非英语语言的现状。
• 开发一种无需特定任务微调即可在多种语言和领域间泛化的鲁棒检索系统。
• 实现事实核查系统的零样本和跨数据集迁移学习，以减少对大规模标注数据的依赖。
• 通过在多语言间检索先前已辟谣的声明，促进自动化事实核查，从而减少人工工作量和虚假信息传播。

提出的方法

• 构建包含 1,600 条多语言推文和 30,452 篇事实核查文章的 MMTweets 数据集，并对跨语言相关性进行标注。
• 实施一种多阶段检索框架，将过程划分为精炼和重排序两个阶段，以提升跨语言对齐效果。
• 使用现成的多语言预训练 Transformer（MPT）模型（如 mBERT、XLM-R）对多种语言的查询和文档进行编码。
• 将 BM25 作为强基线进行词汇检索，利用机器翻译将非英语查询与英语事实核查内容对齐。
• 在多阶段框架中缓存句子嵌入，以优化推理速度并实现高效检索。
• 在 MMTweets 和 CLEF 阿拉伯语数据集上评估框架，采用跨语言和跨数据集设置，以测试零样本泛化能力。

实验结果

研究问题

• RQ1 在不进行微调的情况下，现成的多语言预训练模型能否在跨语言辟谣叙事检索中超越 BM25 等词汇基线？
• RQ2 所提出的多阶段检索框架在提升多种语言和数据集上的检索性能方面效果如何？
• RQ3 该多阶段框架在零样本和跨数据集场景下的泛化能力有多强，特别是在低资源语言中？
• RQ4 当虚假信息跨越多种模态（如文本和图像）时，检索模型的主要失败模式是什么？
• RQ5 多阶段框架能否在数据集和语言之间实现有效的知识迁移，从而减少对大量微调的需求？

主要发现

• 当使用机器翻译后的查询检索跨语言辟谣叙事时，现成的多语言预训练模型未能超越 BM25 基线。
• 所提出的多阶段检索框架在所有测试语言（包括印地语、西班牙语、葡萄牙语和英语）中均持续优于 BM25 和微调后的 MPT 模型。
• 多阶段框架实现了有效的零样本和跨数据集泛化，在无需微调的情况下对未见过的语言和数据集表现出强大性能。
• 通过缓存嵌入，框架减少了对昂贵机器翻译的依赖，提高了推理效率，尽管其计算成本高于 BM25。
• 错误分析显示，当一条推文关联多篇事实核查文章时，相关结果的得分被稀释，导致检索失败。
• 多模态虚假信息（即仅靠文本不足以识别，因存在误导性图片或视频）构成重大挑战，表明未来需发展多模态检索系统。