[논문 리뷰] ALCM: Autonomous LLM-Augmented Causal Discovery Framework

Elahe Khatibi, Mahyar Abbasian외 3명|arXiv (Cornell University)|2024. 05. 02.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

ALCM는 데이터 기반 원인 규명과 대규모 언어 모델(Large Language Models, LLM)을 통합하여 더 정확하고 견고하며 해석 가능한 원인 그래프를 생성하는 혁신적인 자율 프레임워크이다. 원인 구조 학습, 원인 워핑(wrapper), LLM 기반 개선기의 조합을 통해 ALCM는 기존의 LLM 기반 및 전통적인 방법보다 원인 규명 정확도에서 뛰어나며, 이전에 발견되지 않은 원인 관계와 숨겨진 변수를 규명한다.

ABSTRACT

To perform effective causal inference in high-dimensional datasets, initiating the process with causal discovery is imperative, wherein a causal graph is generated based on observational data. However, obtaining a complete and accurate causal graph poses a formidable challenge, recognized as an NP- hard problem. Recently, the advent of Large Language Models (LLMs) has ushered in a new era, indicating their emergent capabilities and widespread applicability in facilitating causal reasoning across diverse domains, such as medicine, finance, and science. The expansive knowledge base of LLMs holds the potential to elevate the field of causal reasoning by offering interpretability, making inferences, generalizability, and uncovering novel causal structures. In this paper, we introduce a new framework, named Autonomous LLM-Augmented Causal Discovery Framework (ALCM), to synergize data-driven causal discovery algorithms and LLMs, automating the generation of a more resilient, accurate, and explicable causal graph. The ALCM consists of three integral components: causal structure learning, causal wrapper, and LLM-driven causal refiner. These components autonomously collaborate within a dynamic environment to address causal discovery questions and deliver plausible causal graphs. We evaluate the ALCM framework by implementing two demonstrations on seven well-known datasets. Experimental results demonstrate that ALCM outperforms existing LLM methods and conventional data-driven causal reasoning mechanisms. This study not only shows the effectiveness of the ALCM but also underscores new research directions in leveraging the causal reasoning capabilities of LLMs.

연구 동기 및 목표

• 고차원 관측 데이터로부터 정확하고 완전한 원인 그래프를 생성하는 데 도전하는 것. 이는 NP-난해하며 오류 발생 가능성이 높다.
• 기존의 데이터 기반 원인 규명 방법의 한계를 극복하는 것. 예를 들어 전문 지식 의존, 데이터 편향, 마르코프 동치 클래스 해결 불가능성 등의 문제점.
• LLM의 잠재적 추론 능력과 세계 지식을 활용하여 원인 그래프의 정확성, 해석 가능성, 일반화 능력을 향상시키는 것.
• 인간 간섭을 줄이고 신뢰성을 높이기 위해 LLM과 원인 규명 알고리즘을 융합한 자율적이고 종단 간 프레임워크를 개발하는 것.
• LLM 유도 추론을 통해 원래 데이터셋에 존재하지 않는 숨겨진 또는 이전에 간과된 원인 변수와 간선을 발견할 수 있도록 하는 것.

제안 방법

• ALCM는 세 가지 구성 요소로 이루어진 아키텍처를 사용한다: (1) 기존 알고리즘(예: PC, GES)을 활용한 원인 구조 학습, (2) 후보 그래프의 검증 및 개선을 위한 원인 워핑, (3) 가설 생성 및 검증을 위한 LLM 기반 원인 개선기.
• LLM 기반 개선기는 체인 오브 썬스(Chain-of-Thought) 프롬프팅과 신뢰도 스코어링을 사용하여 새로운 노드와 간선을 포함한 잠재적 원인 관계를 생성하고 평가한다.
• LLM 출력의 사실 기반 성향을 높이고 환상(Hallucination)을 줄이기 위해 검색 기반 생성(Retrieval-Augmented Generation, RAG)과 openCHA를 통합한다.
• 알고리즘 정밀도와 LLM의 통찰력을 융합한 하이브리드 버전인 ALCM-Hybrid는 성능 향상을 더욱 높인다.
• 시스템은 데이터, 알고리즘, LLM 추론을 반복적으로 활용하여 원인 그래프를 자동으로 개선하는 동적이고 자율적인 루프를 운영한다.
• 평가에서는 사방, 신뢰도 기반 기준, 그리고 7개의 벤치마크 데이터셋(예: Sachs 및 신경병성 통증 데이터 포함)을 대상으로 시각적 및 정량적 비교를 수행한다.

Figure 1: ALCM Architecture

실험 결과

연구 질문

• RQ1 LLM은 데이터 기반 원인 규명을 효과적으로 보완하여 학습된 원인 그래프의 정확성과 완전성을 향상시킬 수 있는가?
• RQ2 LLM은 원래 데이터셋에 존재하지 않는 숨겨진 또는 이전에 발견되지 않은 원인 변수와 간선을 어느 정도 식별할 수 있는가?
• RQ3 LLM 추론과 원인 규명 알고리즘의 통합은 전문가 주석 의존도를 낮추고 해석 가능성은 향상시키는가?
• RQ4 알고리즘 정밀도와 LLM 추론을 융합한 하이브리드 프레임워크는 순수 알고리즘 기반 및 순수 LLM 기반 접근보다 우월한가?
• RQ5 ALCM 프레임워크는 실제 고차원 데이터셋에서 원인 구조를 탐지하고 검증하는 데 얼마나 견고한가?

주요 결과

• ALCM는 7개의 벤치마크 데이터셋에서 기존의 전통적 데이터 기반 원인 규명 방법(예: PC)과 기존의 LLM 기반 접근 방식보다 원인 규명 정확도에서 뚜렷한 승리를 거두었다.
• ALCM-Hybrid 버전이 가장 높은 성능을 기록하여 알고리즘 정밀도와 LLM 추론의 융합이 효과적임을 입증했다.
• ALCM는 원래의 원인 규명 출력에 존재하지 않는 새로운 노드와 간선을 식별했으며, 최신 의학 문헌을 통한 검증을 통해 이를 확인했다.
• LLM 기반 개선기 구성 요소는 복잡하거나 모호한 경우에서 진짜 원인 관계의 탐지 능력을 높였다.
• LLM의 광범위한 세계 지식과 추론 능력을 활용하여 데이터 편향과 모델 한계의 영향을 줄였다.
• 시각화 결과는 ALCM가 표준 알고리즘이 간과하는 마르코프 블랭킷 내의 숨겨진 또는 간과된 원인 연결까지도 규명함을 확인했다.

Figure 2: Causal Prompt Demonstration