[논문 리뷰] Causal Structure Learning Supervised by Large Language Model

Taiyu Ban, Lyuzhou Chen외 3명|arXiv (Cornell University)|2023. 11. 20.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 데이터 기반 DAG에서 간선을 검증하고 수정하기 위해 대규모 언어 모델(Large Language Models, LLM)을 활용하는 반복적 프레임워크인 ILS-CSL를 제안한다. 간선 수준의 정확도에 중점을 두어 LLM에 의해 유도된 구조적 제약 조건을 반복적으로 적용함으로써, 특히 더 큰 데이터셋에서 이전 방법들보다 뛰어난 성능을 달성하며, SHD 감소가 두드러지고 제약 조건의 고질적인 일치도 향상된다.

ABSTRACT

Causal discovery from observational data is pivotal for deciphering complex relationships. Causal Structure Learning (CSL), which focuses on deriving causal Directed Acyclic Graphs (DAGs) from data, faces challenges due to vast DAG spaces and data sparsity. The integration of Large Language Models (LLMs), recognized for their causal reasoning capabilities, offers a promising direction to enhance CSL by infusing it with knowledge-based causal inferences. However, existing approaches utilizing LLMs for CSL have encountered issues, including unreliable constraints from imperfect LLM inferences and the computational intensity of full pairwise variable analyses. In response, we introduce the Iterative LLM Supervised CSL (ILS-CSL) framework. ILS-CSL innovatively integrates LLM-based causal inference with CSL in an iterative process, refining the causal DAG using feedback from LLMs. This method not only utilizes LLM resources more efficiently but also generates more robust and high-quality structural constraints compared to previous methodologies. Our comprehensive evaluation across eight real-world datasets demonstrates ILS-CSL's superior performance, setting a new standard in CSL efficacy and showcasing its potential to significantly advance the field of causal discovery. The codes are available at \url{https://github.com/tyMadara/ILS-CSL}.

연구 동기 및 목표

• 기존의 LLM 보강 인과 구조 학습 기법이 신뢰할 수 없는 제약 조건과 높은 계산 비용을 야기하는 한계를 해결하기 위해.
• 관찰 데이터로부터 학습된 인과 DAG의 품질과 강건성을 타겟팅하고 반복적인 방식으로 LLM 피드백을 통합함으로써 향상시키기 위해.
• 전문가가 제공하는 제약 조건에 대한 의존도를 줄이기 위해 LLM을 확장 가능한 지식 기반의 인과 추론 원천으로 활용하기 위해.
• 전체 제약 조건을 적용하는 대신 데이터 기반 학습에서 제안된 간선들만 검증함으로써 LLM 추론에서 발생하는 오류 전파를 최소화하기 위해.
• 다양한 실제 데이터셋에서 일관된 성능 향상을 입증하기 위해, 특히 변수 수가 증가할수록 성능 향상이 어떻게 나타나는지 확인하기 위해.

제안 방법

• ILS-CSL는 데이터로부터 학습된 인과 DAG를 반복적으로 정교화하며, 현재 구조 내 각 간선의 방향성과 존재 여부를 LLM에 질의하여 검증한다.
• 각 반복 단계에서 LLM은 변수 쌍에 대한 인과적 추론 기반으로 간선이 존재해야 하는지 또는 방향을 뒤집어야 하는지에 대한 간선 수준의 제약 조건을 제공한다.
• 이 프레임워크는 LLM에 의해 도출된 이러한 제약 조건을 하드 또는 소프트 사전 정보로 적용하여 CSL 알고리즘(예: BDeu 또는 BIC를 사용한 HC)을 재학습함으로써 DAG의 구조를 향상시킨다.
• 수렴하거나 최대 반복 횟수에 도달할 때까지 프로세스를 반복하며, 피드백을 통해 잘못된 간선을 수정하고 인과 그래프를 정교화한다.
• 하드 제약 전략은 LLM 추론을 엄격히 적용하는 데 사용되며, 투표 메커니즘은 일관되지 않은 LLM 출력으로 인한 노이즈를 줄이는 데 기여한다.
• 현재 데이터 기반으로 학습된 DAG에 존재하는 간선들만 대상으로 하여 전체 쌍별 분석을 피함으로써 LLM 추론 비용을 크게 감소시킨다.

Figure 1 : An example of recovering missing edges by reversing existing edges.

실험 결과

연구 질문

• RQ1 LLM에 의해 도출된 인과 지식은 인과 구조 학습에 효과적이고 효율적으로 통합될 수 있는가?
• RQ2 LLM 피드백을 사용한 반복적 정교화는 단일 패ass 제약 적용보다 더 나은 인과 구조 복원을 이끌 수 있는가?
• RQ3 LLM 감독 하에 있는 CSL의 성능은 변수 수와 데이터 희소성 증가에 따라 어떻게 스케일링되는가?
• RQ4 LLM 오류가 최종 인과 구조에 어떤 정도로 악영향을 미치거나 개선 효과를 줄 수 있으며, 프레임워크는 이러한 위험을 어떻게 완화할 수 있는가?
• RQ5 LLM 제약 조건의 통합이 제약 조건 자체를 초월해 구조적 정확도를 향상시킬 수 있는가? 이는 알려지지 않은 인과 메커니즘의 발견을 암시하는가?

주요 결과

• ILS-CSL는 구조적 해밍 거리(SHD)를 크게 감소시켰으며, Cancer 데이터셋에서는 기준선 CSL 대비 평균 75%의 SHD 감소를 기록했고, Barley 데이터셋에서는 50% 감소를 기록했다.
• LLM 감독의 첫 번째 반복에서 가장 큰 향상이 발생했으며, 일부 사례에서는 SHD가 최대 80%까지 감소했다. 이는 초기 단계에서 매우 높은 영향력을 지닌다는 것을 시사한다.
• Barley 데이터셋(48개 변수)에서 ILS-CSL는 데이터만으로 SHD 33.7을 기록했지만, GPT-4 제약 조건을 적용하면 54.5로 증가하는 것으로 나타났다—이것은 이전 연구에서의 성능 저하를 의미한다. 반면 ILS-CSL는 52.0으로 안정성을 확보했다.
• Child 데이터셋(20개 변수, 2000개 샘플)에서 ILS-CSL는 두 번의 반복으로 SHD를 12에서 3으로 감소시켜 강력한 수렴성과 정확도 향상을 보였다.
• 프레임워크는 제약 조건을 통해 직접적으로 5개의 간선을 수정했고, 제약 조건에 포함되지 않은 3개의 간선까지도 수정함으로써 인과 메커니즘의 간접적 발견을 성공적으로 이룩했다.
• 총 9개의 LLM 제약 조건 중 오류가 발생한 것은 2개뿐이었고(파란 화살표), 프레임워크는 이들의 영향을 효과적으로 완화하여 LLM 노이즈에 대한 강건성을 입증했다.

Figure 2 : Erroneous LLM inference and erroneous specified edge constraints of MINOBSx-BDeu+ILS-CSL-hard.