[论文解读] Causal Reasoning and Large Language Models: Opening a New Frontier for Causality

Emre Kıcıman, Robert A. Van Ness+2 more|arXiv (Cornell University)|Apr 28, 2023

Topic Modeling被引用 90

一句话总结

本论文显示基于 GPT-3.5/4 的方法在因果发现和反事实任务上达到最先进的准确性，同时强调鲁棒性问题并提出一个框架，将大语言模型与传统因果方法结合。

ABSTRACT

The causal capabilities of large language models (LLMs) are a matter of significant debate, with critical implications for the use of LLMs in societally impactful domains such as medicine, science, law, and policy. We conduct a "behavorial" study of LLMs to benchmark their capability in generating causal arguments. Across a wide range of tasks, we find that LLMs can generate text corresponding to correct causal arguments with high probability, surpassing the best-performing existing methods. Algorithms based on GPT-3.5 and 4 outperform existing algorithms on a pairwise causal discovery task (97%, 13 points gain), counterfactual reasoning task (92%, 20 points gain) and event causality (86% accuracy in determining necessary and sufficient causes in vignettes). We perform robustness checks across tasks and show that the capabilities cannot be explained by dataset memorization alone, especially since LLMs generalize to novel datasets that were created after the training cutoff date. That said, LLMs exhibit unpredictable failure modes, and we discuss the kinds of errors that may be improved and what are the fundamental limits of LLM-based answers. Overall, by operating on the text metadata, LLMs bring capabilities so far understood to be restricted to humans, such as using collected knowledge to generate causal graphs or identifying background causal context from natural language. As a result, LLMs may be used by human domain experts to save effort in setting up a causal analysis, one of the biggest impediments to the widespread adoption of causal methods. Given that LLMs ignore the actual data, our results also point to a fruitful research direction of developing algorithms that combine LLMs with existing causal techniques. Code and datasets are available at https://github.com/py-why/pywhy-llm.

研究动机与目标

• 澄清因果推理任务的范围（基于协方差、基于逻辑、类型与实际因果性之分）以及大语言模型在它们中的定位。
• 评估大语言模型在因果发现基准和实际因果性任务上的表现，以理解能力与局限。
• 提出一种基于知识的方法，让大语言模型利用元数据来为因果图和推理提供信息。
• 强调大语言模型在实际应用中可以增强而非替代传统因果方法，尤其是在高风险领域。

提出的方法

• 在成对因果发现上评估 LLMs（GPT-3.5 和 GPT-4），使用蒂宾根因果对基准以及其他医疗/气候数据集。
• 通过提示工程引出定向因果判断和反事实推理。
• 记忆与删节测试以探测鲁棒性，并确保结果不是由数据记忆引起。
• 将 LLM 的表现与最先进的基于协方差的因果发现方法进行比较。
• 分析 LLM 在基于变量元数据生成因果图而非数据值方面的作用。

实验结果

研究问题

• RQ1 能否仅使用变量元数据由 LLMs 识别两个变量之间的因果方向？
• RQ2 相较于基于协方差的方法，LLMs 在成对因果发现和完整图发现上的表现如何？
• RQ3 在多大程度上 LLMs 可以回答反事实问题并识别必要/充分原因？
• RQ4 使用提示来探测 LLM 因果推理时的鲁棒性和记忆问题有哪些？
• RQ5 在实际应用中，LLMs 如何补充传统因果方法？

主要发现

• LLMs 在蒂宾根成对因果发现任务上最高达到 97% 的准确率，比此前最佳水平高出约 13 个点。
• GPT-3.5/4 在医疗疼痛诊断和气候数据集的因果发现上表现出色。
• GPT-4 在反事实推理基准上达到 92% 的准确率，在情景描述中识别必要与充分原因的准确率为 86%。
• 性能高度依赖于提示设计，且可能出现不可预测的失败模式。
• LLMs 通过利用领域知识从自然语言上下文生成因果图，提供互补的基于知识的信号。
• LLMs 可以通过自举、批评以及在自然语言与正式因果表示之间进行转换来增强现有因果方法。