[论文解读] Is ChatGPT a Good Causal Reasoner? A Comprehensive Evaluation

Jinglong Gao, Xiao Ding+2 more|arXiv (Cornell University)|May 12, 2023

Topic Modeling被引用 4

一句话总结

本文在多个基准上评估了ChatGPT的因果推理能力，发现其作为因果解释者表现强劲，但作为因果推理者表现薄弱，主要由于严重幻觉问题。尽管采用了上下文学习和思维链提示，其在隐含因果关系和复杂句子上的表现仍会下降，开放式提示进一步恶化结果——凸显了在无监督条件下对因果关系进行推理的根本性局限。

ABSTRACT

Causal reasoning ability is crucial for numerous NLP applications. Despite the impressive emerging ability of ChatGPT in various NLP tasks, it is unclear how well ChatGPT performs in causal reasoning. In this paper, we conduct the first comprehensive evaluation of the ChatGPT's causal reasoning capabilities. Experiments show that ChatGPT is not a good causal reasoner, but a good causal explainer. Besides, ChatGPT has a serious hallucination on causal reasoning, possibly due to the reporting biases between causal and non-causal relationships in natural language, as well as ChatGPT's upgrading processes, such as RLHF. The In-Context Learning (ICL) and Chain-of-Thought (CoT) techniques can further exacerbate such causal hallucination. Additionally, the causal reasoning ability of ChatGPT is sensitive to the words used to express the causal concept in prompts, and close-ended prompts perform better than open-ended prompts. For events in sentences, ChatGPT excels at capturing explicit causality rather than implicit causality, and performs better in sentences with lower event density and smaller lexical distance between events. The code is available on https://github.com/ArrogantL/ChatGPT4CausalReasoning .

研究动机与目标

• 全面评估ChatGPT在多种任务格式和版本下的因果推理能力。
• 识别ChatGPT因果幻觉的根本原因，特别是与训练数据偏差和RLHF的关系。
• 评估提示策略（如上下文学习和思维链）对因果推理性能的影响。
• 考察语言线索、事件密度和词汇距离对因果推理准确率的影响。
• 确定开放式提示是否优于封闭式提示，或是否因同时承担事件抽取与推理任务而降低因果推理性能。

提出的方法

• 在四个GPT版本上进行评估：text-davinci-002、text-davinci-003、gpt-3.5-turbo和gpt-4。
• 使用三个基准任务：事件因果识别（ECI）、多项选择和二分类格式的因果发现（CD），以及因果解释生成（CEG）。
• 设计了不同格式的提示：封闭式（是/否）、开放式（自由生成），以及使用因果线索词的提示。
• 应用上下文学习（ICL）和思维链（CoT）提示，以评估其对幻觉和准确率的影响。
• 使用严格指标评估性能：精确率、召回率和F1，对开放式输出采用宽松匹配。
• 分析对因果表达的语言形式、事件密度和事件间词汇距离的敏感性。

Figure 1: The forms of three causal reasoning tasks and the prompts we use. The content that requires ChatGPT to reply is marked in red . The multiple-choice CD task also involves samples that ask for selecting the result of the input event. For such samples, we modify the “cause” in the question to

实验结果

研究问题

• RQ1 与生成因果解释的能力相比，ChatGPT在因果推理任务上的表现如何？
• RQ2 上下文学习和思维链提示在多大程度上加剧了ChatGPT的因果幻觉？
• RQ3 提示中因果线索词的选择在多大程度上影响了因果推理的准确性？
• RQ4 ChatGGPT在显性因果关系还是隐性因果关系上表现更好？事件密度或词汇距离如何影响其表现？
• RQ5 开放式生成提示是否能提升因果推理性能，还是因其同时要求事件抽取与推理而降低性能？

主要发现

• ChatGPT并非优秀的因果推理者，但在生成因果解释方面表现良好，表明其以描述性而非推理性方式理解因果逻辑。
• ChatGPT存在严重的因果幻觉，其在开放式提示下以及使用ICL或CoT技术时性能显著下降。
• 模型在显性因果关系（如“因为”、“所以”）上表现最佳，而在需要常识推理的隐性因果关系上表现困难。
• 随着事件密度增加和事件间词汇距离增大，性能下降，表明其在长距离依赖推理方面存在困难。
• 开放式提示将F1分数降低至最低7.4，表明其在因果推理方面远不如封闭式提示（F1 = 41.0）。
• 因果发现任务的二分类格式比多项选择格式更可靠，后者因选项有限而高估了性能。

Figure 2: Prompts that express causal concepts in various ways. The content that requires ChatGPT to reply is marked in red .