[논문 리뷰] Multi-Agent Causal Discovery Using Large Language Models

Hao Duong Le, Xin Xia외 1명|arXiv (Cornell University)|2024. 07. 21.

Data Quality and Management인용 수 5

한 줄 요약

논문은 메타 에이전트, 코딩 에이전트, 하이브리드 변형으로 구성된 다중 에이전트 LLM 프레임워크 MAC을 제시하여 단일 에이전트 및 고전적 방법과 비교하여 인과 발견을 수행합니다.

ABSTRACT

Causal discovery aims to identify causal relationships between variables and is a critical research area in machine learning. Traditional methods focus on statistical or machine learning algorithms to uncover causal links from structured data, often overlooking the valuable contextual information provided by metadata. Large language models (LLMs) have shown promise in creating unified causal discovery frameworks by incorporating both structured data and metadata. However, their potential in multi-agent settings remains largely unexplored. To address this gap, we introduce the Multi-Agent Causal Discovery Framework (MAC), which consists of two key modules: the Debate-Coding Module (DCM) and the Meta-Debate Module (MDM). The DCM begins with a multi-agent debating and coding process, where agents use both structured data and metadata to collaboratively select the most suitable statistical causal discovery (SCD) method. The selected SCD is then applied to the structured data to generate an initial causal graph. This causal graph is transformed into causal metadata through the Meta Fusion mechanism. With all the metadata, MDM then refines the causal structure by leveraging a multi-agent debating framework. Extensive experiments across five datasets demonstrate that MAC outperforms both traditional statistical causal discovery methods and existing LLM-based approaches, achieving state-of-the-art performance.

연구 동기 및 목표

• 도메인 지식이 부족하거나 비용이 많이 들 때 데이터 기반 인과 발견의 동기를 부여합니다.
• 다중 에이전트 LLM의 능력을 활용하여 인과 그래프 학습을 강화합니다.
• 추론(토론)과 통계적 인과 발견 알고리즘의 통합을 통해.
• 세 가지 MAC 구성(메타, 코딩, 하이브리드)을 기준 방법과 비교합니다.

제안 방법

• 메타 에이전트 모델(Meta Agents Model)을 소개합니다. 이는 토론 기반 추론을 통해 인과 그래프를 출력합니다.
• Debate-Coding 모듈을 도입합니다. 토론자들이 코딩 실행을 통해 인과 발견 알고리즘을 선택하고 구현합니다.
• 추론(규칙)과 통계의 결합인 하이브리드 모델(Coding-Meta Hybrid 및 Debating-Coding Hybrid)을 정의합니다.
• 에이전트 추론과 행동을 위해 ReAct 프롬프트와 제로샷/소수샷 프롬트 전략으로 GPT-3.5-turbo를 사용합니다.
• 연속형 변수 데이터셋에 대해 인접행렬 지표(SHD, FPR, FNR, 정밀도, 재현율, F1)와 NHD를 이용해 평가합니다.

Figure 1: Meta-Debate Module

실험 결과

연구 질문

• RQ1 다중 에이전트 LLM 시스템이 단일 에이전트 LLM 및 전통 알고리즘보다 인과 그래프 발견을 개선할 수 있는가?
• RQ2 순수하게 추론에 기반한 구성, 순수하게 코딩에 기반한 구성, 그리고 하이브리드 MAC 구성이 인과 발견에 있어 상대적 강점은 무엇인가?
• RQ3 MAC 방법은 자동차, 기후, 단백질 등의 다양한 데이터셋에서 PC, Exact Search, DirectLiNGAM, LLM 기반 기준선과 비교하여 어떻게 수행되는가?

주요 결과

• 코딩 에이전트 모델은 Auto MPG에서 가장 좋은 SHD(4)와 높은 정밀도(1)를 달성합니다.
• 메타 에이전트 모델은 Auto MPG에서 SHD 5와 균형 잡힌 지표로 강력한 성능을 달성합니다.
• DWD 기후 데이터에서 메타 에이전트 모델은 SHD 5와 NHD 0.194를 보여 고전 방법을 능가합니다.
• Sachs 단백질 데이터에서 단일 에이전트 GPT-4o는 낮은 SHD(18)와 강한 FNR(0.098)을 보이는 반면, 다중 에이전트 변형들(Coding-Debating Hybrid, Coding-Meta Hybrid)은 경쟁력 있는 결과를 보입니다.
• 데이터셋 전반에 걸쳐 고전 SCD 방법들(PC, Exact Search, DirectLiNGAM)은 일반적으로 MAC 변형보다 SHD 값이 더 높은 경향이 있습니다.
• 전반적으로 제안된 다중 에이전트 프레임워크는 기준선에 비해 구조적 정확도와 F1 점수에서 더 낫거나 경쟁력이 있습니다.

Figure 2: Debate-Coding Module