[논문 리뷰] CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs

Yu Zhou, Xingyu Wu외 4명|arXiv (Cornell University)|2024. 04. 09.

Topic Modeling인용 수 4

한 줄 요약

CausalBench는 다양한 작업, 인과 네트워크 규모 및 데이터 유형에서 대규모 언어 모델(Large Language Models, LLMs)의 인과 학습 능력을 평가하는 종합적인 벤치마크이다. 이는 LLMs가 복잡하거나 대규모 네트워크에서 상관관계와 인과관계를 구분하는 데 어려움을 겪으며, 특히 구조화된 데이터와 배경 지식이 성능 향상에 핵심적인 역할을 한다는 점을 드러낸다.

ABSTRACT

The ability to understand causality significantly impacts the competence of large language models (LLMs) in output explanation and counterfactual reasoning, as causality reveals the underlying data distribution. However, the lack of a comprehensive benchmark currently limits the evaluation of LLMs' causal learning capabilities. To fill this gap, this paper develops CausalBench based on data from the causal research community, enabling comparative evaluations of LLMs against traditional causal learning algorithms. To provide a comprehensive investigation, we offer three tasks of varying difficulties, including correlation, causal skeleton, and causality identification. Evaluations of 19 leading LLMs reveal that, while closed-source LLMs show potential for simple causal relationships, they significantly lag behind traditional algorithms on larger-scale networks ($>50$ nodes). Specifically, LLMs struggle with collider structures but excel at chain structures, especially at long-chain causality analogous to Chains-of-Thought techniques. This supports the current prompt approaches while suggesting directions to enhance LLMs' causal reasoning capability. Furthermore, CausalBench incorporates background knowledge and training data into prompts to thoroughly unlock LLMs' text-comprehension ability during evaluation, whose findings indicate that, LLM understand causality through semantic associations with distinct entities, rather than directly from contextual information or numerical distributions.

연구 동기 및 목표

• 현재 인과 학습 평가 설계가 좁고 동질적이며 단순한 경향이 있어, LLM의 인과 학습 능력을 평가하기 위한 종합적인 벤치마크 부족 문제를 해결하기 위함.
• 인과 구조 식별, 상관관계 대비 인과관계 식별, 역행성 추론 등 다양한 인과 학습 작업에서 LLM의 성능을 평가하기 위함.
• 작은 규모에서 큰 규모에 이르기까지 변화하는 인과 네트워크 규모(작은 규모에서 큰 규모), 밀도, 및 구조적 복잡성(예: 체인, 혼란자, 콜라이더)에서 LLM의 성능을 조사하기 위함.
• 특히 변수 이름이 모호하거나 복잡한 추론 체인을 다룰 때, 배경 지식과 구조화된 데이터가 LLM의 인과 추론에 어떤 영향을 미치는지 조사하기 위함.
• 중간 및 대규모 데이터셋에서 LLM과 최신 인과 학습 알고리즘 간의 성능 격차를 규명하기 위함.

제안 방법

• CausalBench는 세 가지 핵심 인과 학습 작업—인과 구조 식별, 상관관계 대비 인과관계 식별, 역행성 추론—을 포함하는 벤치마크를 구성한다.
• 벤치마크는 다양한 크기(2~109개 노드)와 밀도를 가진 인과 네트워크를 포함하여 점차 증가하는 과제 난이도를 평가할 수 있도록 한다.
• 다양한 데이터 모odalities를 통합한다: 변수 이름만, 변수 이름에 배경 지식 추가, 변수 이름에 구조화된 데이터(예: DAG 또는 수치 표) 추가.
• 합성 및 실제 세계를 모델링한 인과 구조를 통합하여 실제 추론 시나리오를 시뮬레이션하며, 체인, 혼란자, 콜라이더 등을 포함한다.
• 정확도, F1 점수, 인과 구조 복원률 등의 표준 지표를 사용하여 성능을 평가하며, 고전적 및 최신 인과 학습 알고리즘과 비교한다.
• 일반화성과 내구성을 평가하기 위해 다수의 실험 세트에서 19개의 주요 LLM(오픈소스 및 비공개 소스 포함)을 포함한다.

실험 결과

연구 질문

• RQ1 다양한 네트워크 구조와 규모에서 LLM은 상관관계와 인과관계를 어떻게 구분하는가?
• RQ2 변수 이름이 모호할 경우 배경 지식이 LLM의 인과 추론 능력 향상에 어느 정도 기여하는가?
• RQ3 구조화된 데이터(예: DAG 또는 수치 표)가 텍스트 전용 입력 대비 LLM의 인과 구조 식별 능력에 어떤 영향을 미치는가?
• RQ4 노드 수, 깊이, 진입도/출구도를 기준으로 측정한 네트워크 복잡성이 인과 구조 식별에서 LLM의 성능에 어떤 영향을 미치는가?
• RQ5 중간 및 대규모 인과 네트워크에서 LLM과 최신 인과 학습 알고리즘 간의 성능 격차는 어떠한가?

주요 결과

• 가장 높은 성능을 보인 LLM은 소규모 데이터셋에서 65.28%의 정확도, 중간 규모에서 74.70%, 대규모에서 68.06%를 기록했으며, F1 점수는 소규모(0.7017)에서 중간 규모(0.5825)로 감소하고 대규모(0.4310)에서 더욱 하락했다.
• LLM은 체인 구조에서는 뛰어난 성능(정밀도 ~0.70)을 보였지만, 콜라이더 구조에서는 심각한 어려움을 겪었으며(정밀도 ~0.40) 복잡한 인과 의존성 처리에 어려움을 겪는 것으로 나타났다.
• DAG에서 진입도 또는 출구도가 전체 데이터셋 평균의 두 배 이상을 초과할 경우 LLM의 정확도가 50% 이하로 떨어졌으며, 이는 네트워크 희박성과 복잡성에 민감함을 시사한다.
• 배경 지식은 변수 이름이 의미적으로 명확할 경우에만 성능 향상에 기여했으며, 이름이 모호할 경우 거의 또는 전혀 도움이 되지 않았다.
• 비공개 소스 LLM은 구조화된 데이터 활용에서 오픈소스 모델보다 뛰어난 성능를 보였고, 오픈소스 모델은 주로 텍스트적 단서에 의존하여 확장성에 한계를 가졌다.
• LLM은 항상 최신 인과 학습 방법보다 성능이 열등했으며, 특히 대규모 데이터셋에서 격차가 커지며 네트워크 복잡성이 증가할수록 더욱 두드러졌다.