[논문 리뷰] Is ChatGPT a Good Causal Reasoner? A Comprehensive Evaluation

Jinglong Gao, Xiao Ding외 2명|arXiv (Cornell University)|2023. 05. 12.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 여러 벤치마크를 통해 ChatGPT의 원인관계 추론 능력을 평가하며, 강력한 원인관계 설명 능력을 지니지만 심각한 환각 현상으로 인해 원인관계 추론 능력은 열등하다는 것을 드러낸다. 문맥 내 학습과 사고의 사슬 프롬프팅을 사용함에도 불구하고 암시적 원인관계와 복잡한 문장에서 성능이 저하되며, 개방형 프롬프팅은 결과를 악화시킨다—이는 감독 없이 원인관계 관계에 대한 추론에 근본적인 한계가 있음을 시사한다.

ABSTRACT

Causal reasoning ability is crucial for numerous NLP applications. Despite the impressive emerging ability of ChatGPT in various NLP tasks, it is unclear how well ChatGPT performs in causal reasoning. In this paper, we conduct the first comprehensive evaluation of the ChatGPT's causal reasoning capabilities. Experiments show that ChatGPT is not a good causal reasoner, but a good causal explainer. Besides, ChatGPT has a serious hallucination on causal reasoning, possibly due to the reporting biases between causal and non-causal relationships in natural language, as well as ChatGPT's upgrading processes, such as RLHF. The In-Context Learning (ICL) and Chain-of-Thought (CoT) techniques can further exacerbate such causal hallucination. Additionally, the causal reasoning ability of ChatGPT is sensitive to the words used to express the causal concept in prompts, and close-ended prompts perform better than open-ended prompts. For events in sentences, ChatGPT excels at capturing explicit causality rather than implicit causality, and performs better in sentences with lower event density and smaller lexical distance between events. The code is available on https://github.com/ArrogantL/ChatGPT4CausalReasoning .

연구 동기 및 목표

• ChatGPT의 원인관계 추론 능력을 다양한 작업 형식과 버전에서 종합적으로 평가하기 위해.
• ChatGPT의 원인관계 환각의 근본 원인을 규명하기 위해, 특히 훈련 데이터 편향과 RLHF와의 관계를 고려하여.
• 문맥 내 학습과 사고의 사슬과 같은 프롬프팅 전략이 원인관계 추론 성능에 미치는 영향을 평가하기 위해.
• 언어적 신호, 사건 밀도, 어휘적 거리가 원인관계 추론 정확도에 미치는 영향을 분석하기 위해.
• 개방형 프롬프팅이 폐쇄형 프롬프팅보다 원인관계 추론 성능을 향상시키는지 여부를 판단하기 위해.

제안 방법

• text-davinci-002, text-davinci-003, gpt-3.5-turbo, gpt-4의 네 가지 GPT 버전에서 평가를 수행하였다.
• 세 가지 벤치마크 작업을 사용: 사건 원인관계 식별(Events Causality Identification, ECI), 다중 선택 및 이진 분류 형식의 원인관계 탐색(Causal Discovery, CD), 원인관계 설명 생성(Causal Explanation Generation, CEG).
• 다양한 형식의 프롬프트를 설계: 폐쇄형(예/아니요), 개방형(자유형 생성), 원인관계 신호어를 포함한 프롬프트.
• 환각과 정확도에 미치는 영향을 평가하기 위해 문맥 내 학습(In-Context Learning, ICL)과 사고의 사슬(Chain-of-Thought, CoT) 프롬프팅을 적용하였다.
• 엄격한 지표인 정밀도, 재현율, F1을 사용하여 성능을 평가하였으며, 개방형 출력에는 유연한 매칭 기준을 적용하였다.
• 원인관계 표현의 언어적 표현, 사건 밀도, 사건 간 어휘적 거리에 대한 민감도를 분석하였다.

Figure 1: The forms of three causal reasoning tasks and the prompts we use. The content that requires ChatGPT to reply is marked in red . The multiple-choice CD task also involves samples that ask for selecting the result of the input event. For such samples, we modify the “cause” in the question to

실험 결과

연구 질문

• RQ1 ChatGPT는 원인관계 추론 작업에서 원인관계 설명 생성 능력과 비교해 어떻게 성능을 내는가?
• RQ2 문맥 내 학습과 사고의 사슬 프롬프팅이 ChatGPT의 원인관계 환각을 얼마나 악화시키는가?
• RQ3 프롬프트에 포함된 원인관계 신호어의 선택이 원인관계 추론 정확도에 어떤 영향을 미치는가?
• RQ4 ChatGPT는 명시적 원인관계인지 암시적 원인관계인지에서 더 잘 수행하는가? 사건 밀도나 어휘적 거리가 성능에 어떤 영향을 미치는가?
• RQ5 개방형 생성 프롬프팅은 원인관계 추론 성능을 향상시키는가, 아니면 사건 추출과 추론의 병렬 요구로 인해 성능을 떨어뜨리는가?

주요 결과

• ChatGPT는 원인관계 추론 능력이 뛰어나지 않지만 원인관계 설명 생성에서는 뛰어나며, 이는 원인관계 논리에 서술적 방식으로 이해하고 있음을 시사한다.
• ChatGPT는 심각한 원인관계 환각을 보이며, 개방형 프롬프팅이나 ICL, CoT 기법을 사용할수록 성능이 크게 저하된다.
• 모델은 명시적 원인관계(예: '왜냐하면', '그래서')에서 가장 잘 수행되며, 공감대적 추론이 필요한 암시적 원인관계에서는 어려움을 겪는다.
• 사건 밀도가 증가하고 사건 간 어휘적 거리가 길어질수록 성능이 떨어지며, 이는 장거리 종속성 추론에 어려움을 겪음을 나타낸다.
• 개방형 프롬프팅은 F1 점수를 최소 7.4까지 낮추며, 폐쇄형 프롬프팅(F1 = 41.0)에 비해 원인관계 추론에 효과적이지 않음을 보여준다.
• 원인관계 탐색 작업에서 이진 분류 형식은 다중 선택 형식보다 더 신뢰할 수 있으며, 제한된 선택지로 인해 다중 선택 형식은 성능을 과대평가하는 경향이 있다.

Figure 2: Prompts that express causal concepts in various ways. The content that requires ChatGPT to reply is marked in red .