[论文解读] Logical Fallacy Detection

Zhijing Jin, Abhinav Lalwani+7 more|arXiv (Cornell University)|Jan 1, 2022

Topic Modeling被引用 2

一句话总结

本文将逻辑谬误检测作为一项新的自然语言处理任务提出，构建了一个新型数据集（LOGIC）和一个挑战数据集（LOGICCLIMATE），用于检测文本中的推理缺陷。结构感知分类器在LOGIC数据集上比大型语言模型高出5.46%的F1分数，在LOGICCLIMATE数据集上高出4.51%的F1分数，表明对逻辑结构的理解对于谬误检测至关重要，并为推理评估与虚假信息抑制提供了新的基准。

ABSTRACT

Reasoning is central to human intelligence. However, fallacious arguments are common, and some exacerbate problems such as spreading misinformation about climate change. In this paper, we propose the task of logical fallacy detection, and provide a new dataset (Logic) of logical fallacies generally found in text, together with an additional challenge set for detecting logical fallacies in climate change claims (LogicClimate). Detecting logical fallacies is a hard problem as the model must understand the underlying logical structure of the argument. We find that existing pretrained large language models perform poorly on this task. In contrast, we show that a simple structure-aware classifier outperforms the best language model by 5.46% on Logic and 4.51% on LogicClimate. We encourage future work to explore this task as (a) it can serve as a new reasoning challenge for language models, and (b) it can have potential applications in tackling the spread of misinformation. Our dataset and code are available at https://github.com/causalNLP/logical-fallacy

研究动机与目标

• 将自然语言中的逻辑谬误检测任务形式化并明确定义。
• 构建一个包含13种常见逻辑谬误类型的通用文本数据集（LOGIC）。
• 创建一个专注于气候相关言论中谬误的专项挑战数据集（LOGICCLIMATE）。
• 评估预训练大型语言模型在该任务上的表现，并识别其局限性。
• 提出并验证一种结构感知分类器作为谬误检测的强基准模型。

提出的方法

• 作者收集并标注了超过1,500条论断，涵盖13种逻辑谬误类型，构建了LOGIC数据集。
• 他们创建了一个包含500条论断的挑战数据集（LOGICCLIMATE），专门来自气候议题的辩论内容。
• 设计了一种结构感知分类器，用于分析论点中的句法与逻辑依赖关系。
• 该模型利用依存句法分析与逻辑模式匹配技术来识别谬误类型。
• 通过在LOGIC与LOGICCLIMATE数据集上计算的微平均F1分数评估模型性能。
• 对预训练语言模型（如BERT、RoBERTa）进行微调，并与结构感知方法进行对比。

实验结果

研究问题

• RQ1 逻辑谬误检测能否被形式化为一项具有可靠标注的独立NLP任务？
• RQ2 现有大型语言模型在检测自然语言中逻辑谬误方面的表现如何？
• RQ3 显式建模逻辑结构是否能优于仅依赖神经语言表征的方法，从而提升谬误检测效果？
• RQ4 针对气候相关谬误的专项数据集能否提升在高风险虚假信息场景下的检测能力？
• RQ5 在公共辩论中，尤其是气候议题中，最常见的且最具欺骗性的谬误类型是什么？

主要发现

• 预训练大型语言模型在LOGIC数据集上的F1分数仅为8.62%至53.31%，表明其在逻辑推理任务中表现欠佳。
• 所提出的结构感知分类器在LOGIC数据集上的F1分数比表现最佳的大型语言模型高出5.46个百分点。
• 在LOGICCLIMATE挑战数据集中，结构感知模型比最佳LLM高出4.51%的F1分数，显示出对领域特定谬误更强的泛化能力。
• 数据集中最常见的谬误类型为错误概括（18.01%）与人身攻击（12.33%），凸显了公共话语中常见的推理缺陷。
• 研究发现，即使事实正确的论断也可能存在逻辑谬误，强调了谬误检测应超越事实核查的必要性。
• 结果表明，显式建模逻辑结构对于实现稳健的谬误检测至关重要，尤其是在气候等高风险领域。