[论文解读] Integrating Large Language Model for Improved Causal Discovery

Taiyu Ban, L L Chen+5 more|arXiv (Cornell University)|Jun 29, 2023

Topic Modeling被引用 19

一句话总结

本文提出一个框架，将基于知识的 LLM 因果分析与数据驱动的因果结构学习结合起来，以从数据中恢复出更可靠的因果结构，利用 LLM 指导的祖先约束来引导 CSL 算法。它在多样化数据集上对多种 LLM 与 CSL 方法进行基准测试，在若干情形下取得显著改进，同时强调挑战和对错误容忍度的需求。

ABSTRACT

Recovering the structure of causal graphical models from observational data is an essential yet challenging task for causal discovery in scientific scenarios. Domain-specific causal discovery usually relies on expert validation or prior analysis to improve the reliability of recovered causality, which is yet limited by the scarcity of expert resources. Recently, Large Language Models (LLM) have been used for causal analysis across various domain-specific scenarios, suggesting its potential as autonomous expert roles in guiding data-based structure learning. However, integrating LLMs into causal discovery faces challenges due to inaccuracies in LLM-based reasoning on revealing the actual causal structure. To address this challenge, we propose an error-tolerant LLM-driven causal discovery framework. The error-tolerant mechanism is designed three-fold with sufficient consideration on potential inaccuracies. In the LLM-based reasoning process, an accuracy-oriented prompting strategy restricts causal analysis to a reliable range. Next, a knowledge-to-structure transition aligns LLM-derived causal statements with structural causal interactions. In the structure learning process, the goodness-of-fit to data and adherence to LLM-derived priors are balanced to further address prior inaccuracies. Evaluation of eight real-world causal structures demonstrates the efficacy of our LLM-driven approach in improving data-based causal discovery, along with its robustness to inaccurate LLM-derived priors. Codes are available at https://github.com/tyMadara/LLM-CD.

研究动机与目标

• 动机：将来自 LLM 的先验因果知识与统计 CSL 相结合，以应对 NP-hard 问题和数据限制。
• 量化来自 LLM 的因果陈述如何作为祖先约束来改善因果结构学习。
• 比较在多个数据集和多种 LLM 下，将 LLM 先验纳入 CSL 的硬约束与软约束方法。
• 评估哪些 LLM 能提供高质量的先验，以及它们的引导在哪些方面最能提升 CSL 的性能。

提出的方法

• 定义一组通用提示集合，从 LLM 提取关于给定变量的直接因果关系。
• 采用三阶段 LLM 流程（理解、因果发现、修订）生成一组直接因果陈述 S。
• 将 S 转换为 CSL 的祖先约束 A，并通过硬约束或软约束方法整合。
• 将硬约束形式化为修剪和基于排序的搜索，以满足祖先边。
• 通过在 CSL 分数中增加反映 LLM 指引的先验项（贝叶斯先验）来形式化软约束。
• 在八个 BN-存储库数据集上，比较 LLM+CSL 与纯数据驱动的 CSL，使用多种 CSL 算法和多种 LLM。

实验结果

研究问题

• RQ1 当与数据驱动的 CSL 相结合时，LLM 驱动的因果陈述是否能提高恢复的因果结构质量？
• RQ2 LLM 先验的质量如何影响跨数据集和算法的 CSL 性能？
• RQ3 在将 LLM 先验纳入时，何时应使用硬约束方法而非软约束方法？
• RQ4 哪些 LLM 能为 CSL 提供可靠的因果先验，以及它们在哪些方面会失败？

主要发现

• LLM 的先验在许多数据集上可以显著提升 CSL，与仅数据驱动的方法相比，达到明显的 F1 提升和 SHD 降低。
• GPT-4 在某些数据集（例如 Cancer、Asia）上往往产生高质量的定性因果陈述，并在这些情况下改进了整合框架。
• 软约束方法通常对某些错误的先验具有容忍度，即使先验不完善也能带来改进。
• 硬约束在 LLM 先验高度准确时表现出色，通过积极修剪不一致的贝叶斯网络结构。
• GPT-4 的定性准确性因数据集和规模而异，在较小/参数负担较轻的结构上表现更好，在更复杂的结构上结果较弱。