[论文解读] Causal Order: The Key to Leveraging Imperfect Experts in Causal Inference

Aniket Vashishtha, Abbavaram Gowtham Reddy+4 more|arXiv (Cornell University)|Oct 23, 2023

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出，仅凭因果顺序——即按时间因果关系对变量进行排序——即可实现准确的因果效应推断，无需构建完整的因果图。通过使用三元组提示（triplet-based prompting），GPT-3.5 和 GPT-4 等大型语言模型（LLMs）能够准确推断因果顺序，当与基于约束的（PC）和基于评分的（CaMML）发现算法结合时，显著提升性能，尤其在小样本场景下表现更优。

ABSTRACT

Large Language Models (LLMs) have been used as experts to infer causal graphs, often by repeatedly applying a pairwise prompt that asks about the causal relationship of each variable pair. However, such experts, including human domain experts, cannot distinguish between direct and indirect effects given a pairwise prompt. Therefore, instead of the graph, we propose that causal order be used as a more stable output interface for utilizing expert knowledge. Even when querying a perfect expert with a pairwise prompt, we show that the inferred graph can have significant errors whereas the causal order is always correct. In practice, however, LLMs are imperfect experts and we find that pairwise prompts lead to multiple cycles. Hence, we propose the triplet method, a novel querying strategy that introduces an auxiliary variable for every variable pair and instructs the LLM to avoid cycles within this triplet. It then uses a voting-based ensemble method that results in higher accuracy and fewer cycles while ensuring cost efficiency. Across multiple real-world graphs, such a triplet-based method yields a more accurate order than the pairwise prompt, using both LLMs and human annotators. The triplet method enhances robustness by repeatedly querying an expert with different auxiliary variables, enabling smaller models like Phi-3 and Llama-3 8B Instruct to surpass GPT-4 with pairwise prompting. For practical usage, we show how the expert-provided causal order from the triplet method can be used to reduce error in downstream graph discovery and effect inference tasks.

研究动机与目标

• 证明仅因果顺序（而非完整因果图）即可满足基于后门准则的可靠因果效应估计。
• 通过表明因果顺序比完整图边更易于专家提供，解决因果推断中专家咨询的挑战。
• 开发并评估一种新颖的三元组提示策略，使 LLM 能够推断出准确的因果顺序。
• 将 LLM 生成的因果顺序与现有因果发现算法结合，以提升其准确性和鲁棒性。
• 评估 LLM 增强方法在不同数据集和样本量下的因果顺序准确性影响。

提出的方法

• 基于后门准则对拓扑排序的依赖性理论证明，提出仅因果顺序即足以实现有效的后门调整。
• 提出一种三元组提示策略，即每次向 LLM 查询三个变量的因果关系，以推断其因果顺序，相比成对提示可显著减少循环错误。
• 通过在所有三变量子图上使用多数投票法聚合 LLM 输出，生成全局因果顺序。
• 使用第二个 LLM（如 GPT-4）对推断出的因果顺序中的并列关系进行解析。
• 通过使用 LLM 生成的因果顺序来定向无向边，增强基于约束的算法（如 PC）。
• 通过将 LLM 推导出的因果顺序作为先验信息引入搜索空间，提升基于评分的算法（如 CaMML）的性能。

Figure 1: The LLM-augmented causal inference process based on inferring causal order. We propose a triplet-based prompting technique to infer all three-variable subgraphs and aggregate them using majority voting to produce a causal order. The causal order can then be used to identify a valid backdoo

实验结果

研究问题

• RQ1 仅因果顺序是否足以替代完整因果图，实现准确的因果效应推断？
• RQ2 因果顺序是否比完整图边更易于领域专家和 LLM 提供？
• RQ3 三元组提示策略是否在从 LLM 获取准确因果顺序方面优于成对提示？
• RQ4 LLM 生成的因果顺序是否能提升 PC 和 CaMML 等现有因果发现算法的准确性？
• RQ5 LLM 增强的因果发现方法在不同样本量和数据集上的性能增益如何变化？

主要发现

• 理论证明并实证验证表明，仅因果顺序即可实现有效的后门调整。
• 通过三元组提示生成的 LLM 因果顺序优于成对提示，预测中的循环错误显著减少。
• PC+LLM 和 CaMML+LLM 方法相比基础算法，显著降低了拓扑距离（$D_{ ext{top}}$），尤其在小样本量下（如 250–500 个样本）。
• 在 $N=500$ 时，PC 方法的 $D_{ ext{top}}$ 在大多数数据集中接近 PC+LLM 的两倍，表明 LLM 集成带来了显著改进。
• 在 $N=10000$ 时，CaMML+LLM 将 Child 数据集的 $D_{ ext{top}}$ 降低至三倍，Asia 数据集降低至五倍，表明即使在高样本量下仍具显著增益。
• 对于 Neuropathic 数据集，CaMML+LLM 在 $N=5000$ 和 $N=10000$ 时改善了 $D_{ ext{top}}$，尽管在小样本时略有退化，但显示出长期优势。

Figure 2: Variability of SHD for various graph sizes with consistent $D_{top}=0$ within each graph.