[论文解读] CLIMATE-FEVER: A Dataset for Verification of Real-World Climate Claims

Thomas Diggelmann, Jordan Boyd‐Graber+3 more|arXiv (Cornell University)|Dec 1, 2020

Topic Modeling参考文献 18被引用 24

一句话总结

本论文提出 climate-fever，一个公开可用的数据集，包含1,535个真实世界的气候主张，以及7,675对经人工标注的主张-证据配对，其中每个证据句子均被标记为支持、反驳或信息不足。该数据集通过自然语言理解（NLU）技术从完整维基百科文章中检索证据，并由气候科学家进行人工标注，从而支持在具有真实世界复杂性的背景下，对气候虚假信息进行自动化验证的研究。

ABSTRACT

We introduce CLIMATE-FEVER, a new publicly available dataset for verification of climate change-related claims. By providing a dataset for the research community, we aim to facilitate and encourage work on improving algorithms for retrieving evidential support for climate-specific claims, addressing the underlying language understanding challenges, and ultimately help alleviate the impact of misinformation on climate change. We adapt the methodology of FEVER [1], the largest dataset of artificially designed claims, to real-life claims collected from the Internet. While during this process, we could rely on the expertise of renowned climate scientists, it turned out to be no easy task. We discuss the surprising, subtle complexity of modeling real-world climate-related claims within the extsc{fever} framework, which we believe provides a valuable challenge for general natural language understanding. We hope that our work will mark the beginning of a new exciting long-term joint effort by the climate science and AI community.

研究动机与目标

• 通过创建一个真实、基于证据的数据集，以应对气候变化虚假信息日益增长的挑战，实现自动化主张验证。
• 将 FEVER 框架适配至真实世界的气候主张，这些主张比人工构造的主张更具复杂性和细微差别。
• 支持开发能够以高语言和科学准确性检索并评估气候主张证据支持的 NLP 模型。
• 通过共享且公开可用的基准数据集，促进人工智能与气候科学领域的合作。
• 通过基于科学准确且经人工验证的证据，提升自动化事实核查系统的可靠性。

提出的方法

• 使用种子关键词，通过手动或自动爬取从互联网来源收集1,535个真实世界的气候主张。
• 利用密集句子嵌入和 FAISS 向量相似性索引，预先筛选出与主张最相关的前 k 个维基百科句子作为证据候选，以克服完整文章检索的可扩展性问题。
• 将主张-证据配对输入到两阶段流程中：(1) 使用自然语言理解（NLU）的证据候选检索系统（ECRS），以及 (2) 释义预测（EP）模型，用于分类标签：SUPPORTS、REFUTES 或 NOT_ENOUGH_INFO。
• 聘请气候科学家对每个证据句子与主张的关系进行人工标注，以确保科学准确性和细微差别。
• 使用维基百科文章的全文作为知识文档集合（KDC），而非 FEVER 仅使用引言部分，以反映真实世界的复杂性。
• 结合语义嵌入与快速相似性搜索的混合检索方法，以提高相对于传统 BM25 方法的相关性。

实验结果

研究问题

• RQ1 NLP 模型能否有效从完整维基百科文章中检索出相关科学证据，以验证真实世界的气候主张？
• RQ2 真实气候主张的语言和科学复杂性与 FEVER 框架中的人工构造主张相比如何？
• RQ3 自动化模型在分类气候虚假信息中的主张-证据关系方面，能在多大程度上达到人类水平的准确性？
• RQ4 在建模气候科学中细微或依赖上下文的主张（如时间滞后或定量近似）时，面临哪些关键挑战？
• RQ5 将完整维基百科文章作为 KDC 的包含方式，如何影响主张验证系统的性能和可靠性？

主要发现

• climate-fever 数据集包含 1,535 个真实世界的气候主张和 7,675 对经标注的主张-证据配对，标签由专家气候科学家提供。
• 该数据集揭示了在建模细微主张方面存在显著挑战，例如涉及近似数值的主张（如海平面上升 6 米 vs. 7 米），此时语义对齐比字面匹配更为关键。
• 若不进行预过滤，从完整维基百科文章中检索证据在计算上不可行；使用密集嵌入和 FAISS 有效缩小了搜索空间，实现了可扩展的检索。
• 尽管存在看似相关的证据，仍有多项主张被判定为 'NOT_ENOUGH_INFO'，凸显了在主张验证中对更深层次上下文和科学理解的需求。
• 该数据集表明，真实世界的气候主张通常涉及复杂的科学推理，例如二氧化碳与温度变化之间的时间滞后，这很难被简单 NLP 模型捕捉。
• 作者观察到，即使采用先进的检索技术，人类专业知识在准确标注方面依然不可或缺，尤其是在存在争议或模糊的案例中。