[논문 리뷰] Integrating Large Language Model for Improved Causal Discovery

Taiyu Ban, L L Chen외 5명|arXiv (Cornell University)|2023. 06. 29.

Topic Modeling인용 수 19

한 줄 요약

논문은 LLM 인과 분석을 지식 기반과 데이터 기반 인과 구조 학습과 결합하여 데이터로부터 더 신뢰할 수 있는 인과 구조를 복구하는 프레임워크를 제안하며, LLM 정보를 활용한 선조 제약을 CSL 알고리즘을 안내하는 데 사용합니다. 여러 LLM 및 CSL 방법을 다양한 데이터셋에서 벤치마킹하여 몇 가지 경우에 유의미한 개선을 보이고, 도전 과제와 오류 허용 필요성을 강조합니다.

ABSTRACT

Recovering the structure of causal graphical models from observational data is an essential yet challenging task for causal discovery in scientific scenarios. Domain-specific causal discovery usually relies on expert validation or prior analysis to improve the reliability of recovered causality, which is yet limited by the scarcity of expert resources. Recently, Large Language Models (LLM) have been used for causal analysis across various domain-specific scenarios, suggesting its potential as autonomous expert roles in guiding data-based structure learning. However, integrating LLMs into causal discovery faces challenges due to inaccuracies in LLM-based reasoning on revealing the actual causal structure. To address this challenge, we propose an error-tolerant LLM-driven causal discovery framework. The error-tolerant mechanism is designed three-fold with sufficient consideration on potential inaccuracies. In the LLM-based reasoning process, an accuracy-oriented prompting strategy restricts causal analysis to a reliable range. Next, a knowledge-to-structure transition aligns LLM-derived causal statements with structural causal interactions. In the structure learning process, the goodness-of-fit to data and adherence to LLM-derived priors are balanced to further address prior inaccuracies. Evaluation of eight real-world causal structures demonstrates the efficacy of our LLM-driven approach in improving data-based causal discovery, along with its robustness to inaccurate LLM-derived priors. Codes are available at https://github.com/tyMadara/LLM-CD.

연구 동기 및 목표

• LLMs로부터의 사전 인과 지식을 통계적 CSL과 통합하여 NP-hardness와 데이터 한계를 해결한다.
• LLM으로부터 파생된 인과 진술이 인과 구조 학습을 개선하는 선조 제약으로 작용하는 정도를 정량화한다.
• 다수의 데이터셋과 LLM에 걸쳐 CSL에 LLM 프리저를 통합하기 위한 하드 제약과 소프트 제약 접근법을 비교한다.
• 어떤 LLM이 고품질의 프리저를 제공하고 그들의 가이드가 CSL 성능을 가장 크게 향상시키는지 평가한다.

제안 방법

• 주어진 변수들에 대해 LLM으로부터 직접 인과 관계를 추출하기 위한 보편 프롬프트 세트를 정의한다.
• Understanding, Causal Discovery, Revision의 3단계 LLM 프로세스를 사용하여 직접 인과 진술의 집합 S를 산출한다.
• S를 CSL의 선조 제약 A로 변환하고 하드 또는 소프트 제약 방법을 통해 이를 통합한다.
• 선조 간선을 만족시키도록 가지치기 및 순서 기반 탐색으로 하드 제약을 형식화한다.
• LLM 가이드를 반영하는 사전항을 더해 CSL 스코어를 소프트 제약으로 형식화한다(Bayesian prior).
• 여덟 BN 저장소 데이터세트에서 다수의 CSL 알고리즘과 LLM으로 LLM+CSL을 데이터 기반 CSL과 대조 평가한다.

실험 결과

연구 질문

• RQ1 LLM 주도 인과 진술이 데이터 기반 CSL과 결합했을 때 회수된 인과 구조의 품질을 향상시킬 수 있는가?
• RQ2 LLM 프리저의 품질이 데이터셋과 알고리즘 전반에서 CSL 성능에 어떤 영향을 미치는가?
• RQ3 LLM 프리저를 도입할 때 하드 제약 접근법이 소프트 제약 접근법보다 바람직한 경우는 언제인가?
• RQ4 어떤 LLM이 CSL에 신뢰할 수 있는 인과 프리저를 제공하고, 그들이 실패하는 곳은 어디인가?

주요 결과

• LLM 프리저는 많은 데이터셋에서 CSL을 상당히 개선할 수 있으며 데이터 전용 방법과 비교해 명백한 F1 증가 및 SHD 감소를 달성한다.
• GPT-4는 일부 데이터셋(예: Cancer, Asia)에서 고품질의 질적 인과 진술을 생성하는 경향이 있으며 이러한 경우 통합 프레임워크를 개선한다.
• 소프트 제약 방법은 일반적으로 일부 잘못된 프리저에 대한 내성을 보이고, 프리저가 불완전해도 개선을 가져올 수 있다.
• 하드 제약은 LLM 프리저가 매우 정확할 때 뛰어나며, 불일치 BN 구조를 공격적으로 가지치기한다.
• GPT-4의 질적 정확도는 데이터셋과 규모에 따라 다르며, 더 작고 매개변수가 적은 구조에서 더 나은 성능을 보이고 더 복잡한 경우에는 약한 결과를 보인다.