[论文解读] Harnessing Abstractive Summarization for Fact-Checked Claim Detection

Varad Bhatnagar, Diptesh Kanojia+1 more|arXiv (Cornell University)|Sep 10, 2022

Topic Modeling被引用 5

一句话总结

本文提出了一种新颖的工作流程，通过使用生成式摘要从嘈杂的推文生成简洁、可查询的摘要，以检测社交媒体上先前已核实的声明。通过在新整理的印度推特事实核查数据集上微调大语言模型，该方法在检索性能上相比原文查询最高提升3倍，实现了35%的Recall@5和0.3的MRR——显著优于基线方法。

ABSTRACT

Social media platforms have become new battlegrounds for anti-social elements, with misinformation being the weapon of choice. Fact-checking organizations try to debunk as many claims as possible while staying true to their journalistic processes but cannot cope with its rapid dissemination. We believe that the solution lies in partial automation of the fact-checking life cycle, saving human time for tasks which require high cognition. We propose a new workflow for efficiently detecting previously fact-checked claims that uses abstractive summarization to generate crisp queries. These queries can then be executed on a general-purpose retrieval system associated with a collection of previously fact-checked claims. We curate an abstractive text summarization dataset comprising noisy claims from Twitter and their gold summaries. It is shown that retrieval performance improves 2x by using popular out-of-the-box summarization models and 3x by fine-tuning them on the accompanying dataset compared to verbatim querying. Our approach achieves Recall@5 and MRR of 35% and 0.3, compared to baseline values of 10% and 0.1, respectively. Our dataset, code, and models are available publicly: https://github.com/varadhbhatnagar/FC-Claim-Det/

研究动机与目标

• 为解决事实核查中的可扩展性挑战，通过自动化检测社交媒体上先前已验证的声明。
• 通过将认知精力集中于高复杂度任务而非重复的声明匹配，减少事实核查中的人工工作量。
• 创建首个针对印度语境下嘈杂、现实世界推文的生成式摘要数据集。
• 通过将嘈杂的推文转化为清晰的摘要查询，提升已核实声明的检索性能。
• 评估不同解码策略和预训练模型对查询质量和检索效果的影响。

提出的方法

• 使用谷歌的事实核查浏览器作为黑箱检索器，搜索先前已核实的声明。
• 应用预训练的生成式摘要模型（如T5、BART），将嘈杂、非正式的推文转化为简洁、信息丰富的摘要。
• 在新整理的567个推文-摘要对数据集上微调这些模型，数据源自印度社交媒体上的事实核查内容。
• 采用Recall@5和MRR等检索指标，评估基于摘要的查询的有效性。
• 比较多种解码策略（如束搜索、核采样）和模型规模，以优化查询质量。
• 整理了2018至2022年间来自推特的真实、嘈杂声明数据集，并附上事实核查文章提供的标准摘要。

实验结果

研究问题

• RQ1 生成式摘要能否有效将嘈杂、非正式的社交媒体声明转化为简洁、可检索的查询？
• RQ2 在已核实声明的检索性能方面，基于摘要的查询与原文查询相比表现如何？
• RQ3 在特定领域数据集上微调预训练摘要模型，能在多大程度上提升检索结果？
• RQ4 哪些解码策略和模型架构能生成最有效的事实核查检索查询？
• RQ5 该工作流程在其他语言和具有类似虚假信息挑战的地区是否具有可推广性？

主要发现

• 与原文查询相比，使用微调后的生成式摘要模型，该工作流程在检索性能上最高可提升3倍。
• 使用未经微调的生成式摘要模型，相比基线原文查询，检索性能提升2倍。
• 该方法实现了35%的Recall@5和0.3的MRR，显著优于基线的10%和0.1。
• 在整理的印度推特数据集上微调T5和BART等大预训练模型，显著提升了查询质量和检索效果。
• 束搜索和核采样等解码策略在摘要质量和下游检索性能方面表现出可测量的差异。
• 数据集、代码和微调模型已按CC-BY-NC-SA 4.0许可公开发布，支持在多语言和跨语言场景中的广泛复用与扩展。