[논문 리뷰] Can Foundation Models Talk Causality?

Moritz Willig, Matej Zečević외 2명|arXiv (Cornell University)|2022. 06. 14.

Semantic Web and Ontologies인용 수 8

한 줄 요약

이 논문은 자연어 프롬프트를 사용하여 인과적 질문에 대한 응답 능력을 평가함으로써 기초 모델(GPT-3, LLaMA, OPT 등)이 인과적 추론을 포착할 수 있는지 조사한다. 저자들은 체계적인 벤치마크를 제안하며, 일부 모델이 부분적인 인과적 추론 능력을 보이지만, 이동성 및 반대가정 인과성 작업에서는 자주 실패함을 발견하여, 강력한 상관관계 학습에도 불구하고 내부 인과 표현 능력이 제한되어 있음을 시사한다.

ABSTRACT

Foundation models are subject to an ongoing heated debate, leaving open the question of progress towards AGI and dividing the community into two camps: the ones who see the arguably impressive results as evidence to the scaling hypothesis, and the others who are worried about the lack of interpretability and reasoning capabilities. By investigating to which extent causal representations might be captured by these large scale language models, we make a humble efforts towards resolving the ongoing philosophical conflicts.

연구 동기 및 목표

• 기초 모델이 AGI에로의 진전을 이루는 데 있어 인과적 추론 능력이 있는지 조사함으로써 지속적인 논의를 해결하고자 한다.
• 기초 모델이 인과적 표현을 학습하는지 아니면 단지 상관관계 패턴을 학습하는지 검토하여 '스케일링 대 해석 가능성' 논쟁의 핵심을 다루고자 한다.
• 자연어 프롬프트를 사용하여 기초 모델의 인과적 추론 능력을 체계적으로 평가하기 위해 벤치마크를 개발하고 적용하고자 한다.
• 주디아 펠의 주장처럼 기초 모델이 인과적 기초 없이 '공중의 성'에 불과하다는 주장을 도전하고자 한다.
• 대규모 언어 모델의 가중치에 얼마나 깊이 인과적 구조가 코딩되어 있는지에 대한 실증적 증거를 제공하고자 한다.

제안 방법

• 저자들은 인과 사슬, 간섭, 반대가정을 중심으로 구성된 126개의 고유한 인과적 추론 질문을 포함하는 인과적 추론 벤치마크를 설계한다.
• 다양한 기초 모델(GPT-3, LLaMA, OPT, Luminous)을 0-shot 프롬프팅을 사용하여 인과성 작업에서의 추론 능력을 평가한다.
• 평가에는 이동성 인과성(예: A→B→C ⇒ A→C), 간섭 효과(do-계산법 원리), 반대가정 추론이 포함된다.
• 모델들은 'A가 B를 일으키고 B가 C를 일으킨다면 A는 C를 일으키는가?'와 같은 자연어 질문을 통해 논리적 일관성을 테스트한다.
• 벤치마크에는 대칭적이고 비대칭적인 인과 사슬뿐 아니라 모호하거나 비이동성 사례도 포함되어 있어 모델의 강건성을 테스트한다.
• 결과는 질문 유형과 모델 유형별 정확도를 측정함으로써 정량적으로 분석된다.

실험 결과

연구 질문

• RQ1 기초 모델은 어느 정도 이동성 인과 관계(예: A→B→C ⇒ A→C)를 정확히 추론할 수 있는가?
• RQ2 기초 모델은 do-계산법 원리를 사용하여 간섭(예: '만약 우리가 X를 한다면 어떤 일이 일어나는가?')에 대해 추론할 수 있는가?
• RQ3 모델은 사실 기반 추론에 비해 반대가정 추론(예: '만약 A가 일어나지 않았다면?')을 얼마나 잘 처리하는가?
• RQ4 모델은 인과성을 논리적 구조로 간주하는가, 아니면 단지 상관관계 패tern으로만 간주하는가?
• RQ5 모델 규모와 인과적 추론 성능 사이에 상관관계가 있는가?

주요 결과

• GPT-3와 LLaMA는 이동성 인과성 작업에서 중간 수준의 성능을 보이며 정확도가 약 60-70% 수준이지만, 복잡한 사슬에서는 실패한다.
• OPT나 Luminous와 같은 모델들은 종종 논리적으로 일관되지 않은 답변을 내보내며, A→B→C 사슬에서 'C가 A를 일으킨다'고 주장하는 경우가 자주 있다.
• 반대가정 추론 능력은 특히 취약하다: 모델들은 사실 기반과 반대가정 기반 의존성 간을 자주 구분하지 못한다.
• 강력한 상관관계 기반 작업에서의 높은 성능에도 불구하고, 모델는 인과적 구조를 신뢰할 만하게 코딩하지 못하며, 이는 인과성 위에 상관관계를 학습하고 있음을 시사한다.
• 결과는 기초 모델이 인과 논리를 통합된 프레임워크로 내재화하지 못하고 있음을 시사하며, 이는 모델가 인과적 기초가 부족하다는 견해를 지지한다.
• 모델 규모와 인과적 추론 정확도 사이에 명확한 상관관계가 없으며, 이는 규모만으로는 인과적 추론의 결함을 해결할 수 없다는 것을 시사한다.