[论文解读] CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs

Yu Zhou, Xingyu Wu+4 more|arXiv (Cornell University)|Apr 9, 2024

Topic Modeling被引用 4

一句话总结

CausalBench 是一个全面的基准测试，用于评估大语言模型（LLMs）在多样化任务、因果网络规模和数据类型下的因果学习能力。结果表明，LLMs 在区分相关性与因果性方面存在困难，尤其是在复杂或大规模网络中，同时凸显了结构化数据和背景知识在提升性能方面的重要作用。

ABSTRACT

The ability to understand causality significantly impacts the competence of large language models (LLMs) in output explanation and counterfactual reasoning, as causality reveals the underlying data distribution. However, the lack of a comprehensive benchmark currently limits the evaluation of LLMs' causal learning capabilities. To fill this gap, this paper develops CausalBench based on data from the causal research community, enabling comparative evaluations of LLMs against traditional causal learning algorithms. To provide a comprehensive investigation, we offer three tasks of varying difficulties, including correlation, causal skeleton, and causality identification. Evaluations of 19 leading LLMs reveal that, while closed-source LLMs show potential for simple causal relationships, they significantly lag behind traditional algorithms on larger-scale networks ($>50$ nodes). Specifically, LLMs struggle with collider structures but excel at chain structures, especially at long-chain causality analogous to Chains-of-Thought techniques. This supports the current prompt approaches while suggesting directions to enhance LLMs' causal reasoning capability. Furthermore, CausalBench incorporates background knowledge and training data into prompts to thoroughly unlock LLMs' text-comprehension ability during evaluation, whose findings indicate that, LLM understand causality through semantic associations with distinct entities, rather than directly from contextual information or numerical distributions.

研究动机与目标

• 为解决当前缺乏全面评估 LLM 因果学习能力的基准测试问题，因为现有评估设计往往过于狭窄、同质且简单。
• 评估 LLM 在广泛因果学习任务中的表现，包括因果结构识别、相关性与因果性区分，以及反事实推理。
• 研究 LLM 在不同因果网络规模（从小到大）、密度以及结构复杂性（如链式结构、混杂因子、碰撞器）下的表现。
• 考察背景知识和结构化数据对 LLM 因果推理的影响，特别是在处理模糊变量名称和复杂推理链时的表现。
• 识别 LLM 与最先进因果学习算法之间的性能差距，尤其是在中型和大型数据集中的表现。

提出的方法

• CausalBench 构建了一个包含三项核心因果学习任务的基准：因果结构识别、相关性与因果性区分，以及反事实推理。
• 该基准涵盖不同规模（2 至 109 个节点）和密度的因果网络，以支持在任务难度递增条件下的评估。
• 它整合了多种数据模态：仅变量名称、变量名称加背景知识，以及变量名称加结构化数据（如 DAG 或数值表格）。
• 基准使用合成和受现实世界启发的因果结构，以模拟真实推理场景，包括链式结构、混杂因子和碰撞器。
• 使用标准指标评估性能：准确率、F1 分数和因果结构恢复率，并与经典及最先进因果学习算法进行比较。
• 评估涵盖 19 个主流 LLM——包括开源和闭源模型——在多轮实验中，以评估其泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 LLM 在不同网络结构和规模下，区分因果关系与单纯相关性的表现如何？
• RQ2 背景知识在多大程度上能提升 LLM 的因果推理能力，尤其是在变量名称模糊的情况下？
• RQ3 与仅文本输入相比，结构化数据（如 DAG 或数值表格）的引入在多大程度上提升了 LLM 识别因果结构的能力？
• RQ4 网络复杂度（以节点数、深度、入度/出度衡量）如何影响 LLM 在因果结构识别中的表现？
• RQ5 在中型和大型因果网络中，LLM 与最先进因果学习算法之间的性能差距有多大？

主要发现

• 表现最佳的 LLM 在小规模数据集上的准确率为 65.28%，中等规模为 74.70%，大规模为 68.06%，F1 分数从 0.7017（小规模）下降至 0.5825（中等规模）和 0.4310（大规模）。
• LLM 在链式结构上的表现较强（F1 约 0.70），但在碰撞器结构上表现显著较差（F1 约 0.40），表明其在处理复杂因果依赖关系方面存在困难。
• 当 DAG 中的入度或出度超过数据集平均值的两倍时，LLM 的准确率降至 50% 以下，凸显其对网络稀疏性和复杂性的敏感性。
• 仅当变量名称语义清晰时，背景知识才能显著提升性能；对于模糊名称，其作用微乎其微。
• 闭源 LLM 在利用结构化数据方面优于开源模型，而开源模型主要依赖文本线索，限制了其可扩展性。
• LLM 在所有情况下均表现逊于最先进因果学习方法，尤其在大规模数据集中表现更差，且随着网络复杂度增加，性能差距进一步扩大。