[논문 리뷰] Causal Reasoning and Large Language Models: Opening a New Frontier for Causality

Emre Kıcıman, Robert A. Van Ness외 2명|arXiv (Cornell University)|2023. 04. 28.

Topic Modeling인용 수 90

한 줄 요약

이 논문은 GPT-3.5/4 기반 방법이 인과 탐구 및 반사실(task)에서 최첨단 정확도를 달성하는 한편, 강건성 문제를 강조하고 LLM을 기존 인과 방법과 통합하기 위한 프레임워크를 제안한다.

ABSTRACT

The causal capabilities of large language models (LLMs) are a matter of significant debate, with critical implications for the use of LLMs in societally impactful domains such as medicine, science, law, and policy. We conduct a "behavorial" study of LLMs to benchmark their capability in generating causal arguments. Across a wide range of tasks, we find that LLMs can generate text corresponding to correct causal arguments with high probability, surpassing the best-performing existing methods. Algorithms based on GPT-3.5 and 4 outperform existing algorithms on a pairwise causal discovery task (97%, 13 points gain), counterfactual reasoning task (92%, 20 points gain) and event causality (86% accuracy in determining necessary and sufficient causes in vignettes). We perform robustness checks across tasks and show that the capabilities cannot be explained by dataset memorization alone, especially since LLMs generalize to novel datasets that were created after the training cutoff date. That said, LLMs exhibit unpredictable failure modes, and we discuss the kinds of errors that may be improved and what are the fundamental limits of LLM-based answers. Overall, by operating on the text metadata, LLMs bring capabilities so far understood to be restricted to humans, such as using collected knowledge to generate causal graphs or identifying background causal context from natural language. As a result, LLMs may be used by human domain experts to save effort in setting up a causal analysis, one of the biggest impediments to the widespread adoption of causal methods. Given that LLMs ignore the actual data, our results also point to a fruitful research direction of developing algorithms that combine LLMs with existing causal techniques. Code and datasets are available at https://github.com/py-why/pywhy-llm.

연구 동기 및 목표

• 공간 인과 추론 작업의 스펙트럼(공분산 기반, 논리 기반, 유형 대 실제 인과성)과 LLM이 여기에 어떻게 적합한지 명확히 밝힌다.
• 능력과 한계를 이해하기 위해 인과 발견 벤치마크와 실제 인과성 작업에서 LLM을 평가한다.
• LLM이 메타데이터를 활용해 인과 그래프와 추론에 정보를 제공하는 지식 기반 접근법을 제안한다.
• 특히 고위험 영역에서 기존의 인과 방법을 대체하기보다 보강할 수 있음을 실무에서 강조한다.

제안 방법

• GPT-3.5 및 GPT-4를 Tübingen cause-effect pairs 벤치마크와 기타 의학/기후 데이터 세트를 사용한 쌍(pairwise) 인과 발견에 대해 평가한다.
• 방향적 인과 판단과 반사실 추론을 이끌어내기 위한 프롬프트 설계.
• 데이터 암기 여부를 점검하고 강건성을 확인하기 위한 암기 및 비공개 처리 테스트를 통해 강건성을 조사하고 결과가 데이터 암기로 인한 것이 아님을 확인한다.
• LLM의 성능을 공분산 기반의 최첨단 인과 발견 방법과 비교한다.
• 데이터 값이 아니라 변수 메타데이터로부터 인과 그래프를 생성하는 데 있어 LLM의 역할을 분석한다.

실험 결과

연구 질문

• RQ1 두 변수 간의 인과 방향을 변수 메타데이터만으로 식별할 수 있는가?
• RQ2 LLM은 쌍별 인과 발견과 전체 그래프 발견에서 공분산 기반 방법에 비해 어떤 성능을 보이는가?
• RQ3 LLM이 반사실 질문에 얼마나 잘 응답하고 필요충분한 인과 원인을 식별할 수 있는가?
• RQ4 LLM의 인과 추론을 프롬프트로 탐지할 때의 강건성 및 암기 문제는 무엇인가?
• RQ5 실무에서 LLM이 전통적인 인과 방법을 어떻게 보완할 수 있는가?

주요 결과

• LLMs는 Tübingen 쌍별 인과 발견 과제에서 최대 97%의 정확도를 달성했으며, 이전 최고치를 약 13포인트 상회했다.
• 의학적 통증 진단 및 기후 데이터 세트에서 인과 발견에 대해 GPT-3.5/4가 강한 성능을 보인다.
• GPT-4는 반사실 추론 벤치마크에서 92%의 정확도를 달성하며, 사례 설명에서 필요충분한 원인을 식별하는 데 86%의 정확도를 보인다.
• 성능은 프롬프트 설계에 크게 의존하며 예측 불가능한 실패 모드를 보일 수 있다.
• LLMs는 자연어 맥락에서 도메인 지식을 활용해 인과 그래프를 생성하는 지식 기반 신호를 보완적으로 제공한다.
• LLMs는 부트스트래핑, 비판, 자연어와 형식적 인과 표현 간의 번역을 통해 기존의 인과 방법을 보강할 수 있다.