[论文解读] Multi-Agent Causal Discovery Using Large Language Models

Hao Duong Le, Xin Xia+1 more|arXiv (Cornell University)|Jul 21, 2024

Data Quality and Management被引用 5

一句话总结

该论文提出 MAC，这是一个使用多代理大模型进行因果发现的三模框架，包括元代理、编码代理和混合变体，在多个数据集上进行了评估，与单代理和经典方法相比结果良好。

ABSTRACT

Causal discovery aims to identify causal relationships between variables and is a critical research area in machine learning. Traditional methods focus on statistical or machine learning algorithms to uncover causal links from structured data, often overlooking the valuable contextual information provided by metadata. Large language models (LLMs) have shown promise in creating unified causal discovery frameworks by incorporating both structured data and metadata. However, their potential in multi-agent settings remains largely unexplored. To address this gap, we introduce the Multi-Agent Causal Discovery Framework (MAC), which consists of two key modules: the Debate-Coding Module (DCM) and the Meta-Debate Module (MDM). The DCM begins with a multi-agent debating and coding process, where agents use both structured data and metadata to collaboratively select the most suitable statistical causal discovery (SCD) method. The selected SCD is then applied to the structured data to generate an initial causal graph. This causal graph is transformed into causal metadata through the Meta Fusion mechanism. With all the metadata, MDM then refines the causal structure by leveraging a multi-agent debating framework. Extensive experiments across five datasets demonstrate that MAC outperforms both traditional statistical causal discovery methods and existing LLM-based approaches, achieving state-of-the-art performance.

研究动机与目标

• 在领域知识稀缺或成本高昂时，推动数据驱动的因果发现。
• 利用多代理语言模型的能力提升因果图学习。
• 将推理（辩论）与统计因果发现算法结合。
• 将三种 MAC 配置（Meta、Coding、Hybrid）与基线方法进行比较。

提出的方法

• 引入三种 MAC 模型：Meta Agents Model（基于辩论的推理以输出因果图）。
• 引入 Debate-Coding 模块（辩论者通过编码执行选择并实现因果发现算法）。
• 定义混合模型（Coding-Meta Hybrid 和 Debating-Coding Hybrid），结合推理与统计。
• 使用 GPT-3.5-turbo，结合 ReAct 提示与零-shot/少-shot 提示策略进行代理推理与行动。
• 使用邻接矩阵指标（SHD、FPR、FNR、Precision、Recall、F1）以及 NHD 在连续变量数据集上进行评估。

Figure 1: Meta-Debate Module

实验结果

研究问题

• RQ1 多代理 LLM 系统能否优于单代理 LLMs 与传统算法在因果图发现上？
• RQ2 纯推理型、纯编码型、和混合 MAC 配置在因果发现方面各自的优势？
• RQ3 与 PC、Exact Search、DirectLiNGAM 以及基于 LLM 的基线比较，MAC 方法在多样数据集（汽车、气候、蛋白质）上的表现如何？

主要发现

• 编码代理模型在 Auto MPG 上达到最佳 SHD（4）并具有较高的精确度（1）。
• Meta Agents Model 在 Auto MPG 上取得较强表现，SHD 为 5，指标平衡。
• 在 DWD 气候数据上，Meta Agents Model 得到 SHD 5 和 NHD 0.194，优于经典方法。
• 在 Sachs 蛋白数据上，单代理 GPT-4o 显示较低 SHD（18）和较强的 FNR（0.098），而多代理变体（Coding-Debating Hybrid、Coding-Meta Hybrid）表现具有竞争力。
• 跨数据集，经典 SCD 方法（PC、Exact Search、DirectLiNGAM）通常比 MAC 变体具有更高的 SHD 值。
• 总体而言，提出的多代理框架在结构准确性上通常更好，且 F1 分数与基线相比具有竞争力或更优。

Figure 2: Debate-Coding Module