[논문 리뷰] Large Language Models and Causal Inference in Collaboration: A Survey

Xiaoyu Liu, Paiheng Xu외 11명|arXiv (Cornell University)|2024. 03. 14.

Topic Modeling인용 수 14

한 줄 요약

이 설문은 인과 추론 방법이 추론, 공정성, 안전성, 설명 및 다중 모달성에서 LLMs의 능력을 어떻게 향상시킬 수 있는지와 LLMs가 발견(discussion?) 및 처리 효과 추정과 같은 인과 추론 작업에 어떻게 기여할 수 있는지 분석합니다.

ABSTRACT

Causal inference has shown potential in enhancing the predictive accuracy, fairness, robustness, and explainability of Natural Language Processing (NLP) models by capturing causal relationships among variables. The emergence of generative Large Language Models (LLMs) has significantly impacted various NLP domains, particularly through their advanced reasoning capabilities. This survey focuses on evaluating and improving LLMs from a causal view in the following areas: understanding and improving the LLMs' reasoning capacity, addressing fairness and safety issues in LLMs, complementing LLMs with explanations, and handling multimodality. Meanwhile, LLMs' strong reasoning capacities can in turn contribute to the field of causal inference by aiding causal relationship discovery and causal effect estimations. This review explores the interplay between causal inference frameworks and LLMs from both perspectives, emphasizing their collective potential to further the development of more advanced and equitable artificial intelligence systems.

연구 동기 및 목표

• 인과 추론 프레임워크가 LLM의 추론 능력과 신뢰성을 어떻게 향상시킬 수 있는지 평가한다.
• 인과성 기반 접근법이 LLMs의 공정성, 편향, 안전성 문제를 어떻게 다루는지 탐색한다.
• LLM 출력의 설명가능성을 향상시키는 데 있어 인과 방법의 역할을 검토한다.
• 다중모달 설정으로의 LLM 확장과 인과 추론에 미치는 영향을 연구한다.
• LLMs가 인과 발견 및 처리 효과 추정에 어떻게 기여할 수 있는지 설문한다.

제안 방법

• Transformer 기반 LLM의 진전과 LVLMs 및 다중모달 변이의 부상을 검토한다.
• 가능한 결과, 구조방정식 모델(SEMs), 그리고 베이지안 네트워크를 포함한 인과 추론의 기초를 요약한다.
• LLM의 추론, 공정성, 안전성 및 설명에 인과 방법을 적용한 기존 연구를 정리한다.
• LLMs가 인과 발견과 처리 효과 추정에 어떻게 도움을 줄 수 있는지 논의한다.
• 평가 벤치마크를 정리하고 한계 및 향후 방향에 대해 논의한다.

실험 결과

연구 질문

• RQ1 인과 추론 프레임워크가 LLM의 추론 능력과 강건성을 어떻게 향상시킬 수 있는가?
• RQ2 인과 기반 방법이 LLMs의 공정성 편향 및 안전성 문제를 어떻게 완화할 수 있는가?
• RQ3 인과적 접근이 LLM 출력의 설명가능성을 어떻게 향상시킬 수 있는가?
• RQ4 다중모달 대규모 언어 모델(LVLMs)에서 인과 방법은 어떤 역할을 하는가?
• RQ5 LLMs가 인과 발견 및 처리 효과 추정에 어떤 방식으로 기여할 수 있는가?

주요 결과

• 인과 방법은 교란 요인을 다루고 정렬을 개선하는 것을 포함하여 LLM 추론을 측정하고 향상시키는 데 도움이 될 수 있다.
• 언어 모델의 원인과 편향은 인과적 개입과 불변 학습을 통해 분석되고 완화될 수 있다.
• 반사실적 추론과 프롬프트 개입은 데이터를 보강하고 강건성을 향상시킬 잠재력이 있지만 복잡한 작업에는 한계가 있다.
• 설명가능성은 입력, 내부 구성 요소 및 인과 그래프 추상화를 통해 향상될 수 있으며, 모델 동작에 대한 이해를 높인다.
• 다중모달 LLMs는 인과 추론에 추가적인 도전과 기회를 제시하며, 인과 방법은 완화 경로와 해석 가능성의 이점을 제공한다.