[논문 리뷰] Understanding Causality with Large Language Models: Feasibility and Opportunities

Cheng Zhang, Sebastian Bauer외 9명|arXiv (Cornell University)|2023. 04. 11.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 대형 언어 모델이 인과 질문에 얼마나 잘 대답할 수 있는지 평가하며, 알려진 지식(Type 1)은 비교적 잘 처리하지만 새 지식 발견이나 고정밀/대상 고위험 인과 추론(Type 2 및 Type 3)에는 어려움을 보인다고 제시한다. 또한 인과 모듈이나 인과성을 고려한 학습과 같은 향후 방향을 논의하여 영향력과 신뢰를 확장한다.

ABSTRACT

We assess the ability of large language models (LLMs) to answer causal questions by analyzing their strengths and weaknesses against three types of causal question. We believe that current LLMs can answer causal questions with existing causal knowledge as combined domain experts. However, they are not yet able to provide satisfactory answers for discovering new knowledge or for high-stakes decision-making tasks with high precision. We discuss possible future directions and opportunities, such as enabling explicit and implicit causal modules as well as deep causal-aware LLMs. These will not only enable LLMs to answer many different types of causal questions for greater impact but also enable LLMs to be more trustworthy and efficient in general.

연구 동기 및 목표

• 세 가지 유형(알려진 도메인, 발견, 그리고 작용-영향)에 걸친 인과 질문에 대해 현재 LLM의 능력을 평가한다
• 높은 정밀도 인과 추론 및 고위험 의사결정을 가능하게 하는 제약 요인을 식별한다
• 인과 모듈과 새로운 학습 패러다임을 통해 신뢰성과 적용 가능성을 높이고자 하는 향후 방향을 제시한다

제안 방법

• 인과 질문을 Type 1(도메인 지식), Type 2(데이터로부터의 새로운 지식), Type 3(정량적 작용 효과)로 분류한다
• 각 질문 유형에 대해 OpenAI 스타일의 LLM을 예시와 Appendix A 결과를 사용하여 평가한다
• 토큰 생성 모델의 한계와 외부 인과 방법 또는 API의 잠재적 역할을 논의한다
• LLM과 인터페이스를 갖춘 모듈식 인과 구성요소와 인과 추론을 포함한 새로운 RL 기반 학습 패러다임의 두 가지 큰 방향을 제안한다
• 인과 LLM의 신뢰, 해석 가능성, 확장성 고려사항을 검토한다

실험 결과

연구 질문

• RQ1 현재 LLM이 기존 도메인 지식을 사용하여 Type 1 인과 질문에 신뢰성 있게 대답할 수 있는가?
• RQ2 LLM이 데이터로부터 새로운 인과 지식을 발견하고(유형 2) 적절한 인과 발견 방법을 추천할 수 있는가?
• RQ3 LLM이 개입 및 개인화된 의사결정을 위한 고정밀의 인과 권고를 제시할 수 있는가?(Type 3)
• RQ4 인과 추론 능력을 확장하기 위한 실행 가능한 경로(인과 모듈 대 새로운 학습 패러다임)는 무엇인가?

주요 결과

• LLMs는 기존 지식을 사용하여 Type 1 인과 질문에 잘 대답하지만, 데이터 세트 편향으로 인해 신뢰성이 불완전할 수 있다
• LLMs는 Type 2 인과 질문에 어려움을 겪고, API 접근 및 고급 인과 ML 없이는 대부분의 적합한 인과 발견 방법을 신뢰성 있게 식별하지 못하지만 인과 발견의 필요성은 지시할 수 있다
• LLMs는 직접적으로 고정밀 Type 3 인과 추론을 수행하지 못하고 proper context나 기억 증강이 없으면 환각을 생성할 수 있다
• 인과 모듈이나 외부 API를 도입하면 LLM이 적절한 인과 도구에 접근하고 단계적 가정과 출력으로 신뢰를 향상시킬 수 있다
• 모듈식 인과성 및 새로운 학습 패러다임(RLHF를 인과 고려와 함께 하는 등)의 결합은 더 넓고 안전하며 효율적인 인과 추론을 가능하게 할 수 있다