[논문 리뷰] Causal Graph Discovery with Retrieval-Augmented Generation based Large Language Models

Yuzhe Zhang, Yipeng Zhang외 3명|arXiv (Cornell University)|2024. 02. 23.

Data Quality and Management인용 수 4

한 줄 요약

이 논문은 통계적 데이터에 의존하지 않고 과학 문헌을 활용하여 인과 그래프를 발견하는 RAG 기반의 LACR를 제안한다. 관련 연구 개요를 검색하고 대규모 언어 모델을 사용해 연관 관계를 추출 및 집계함으로써, SACHS 및 BIOLOGIST와 같은 벤치마크 데이터셋에서 기존의 통계적 및 LLM 기반 방법보다 뛰어난 성능을 보이는 고품질의 인과 그래프를 구축한다.

ABSTRACT

Causal graph recovery is traditionally done using statistical estimation-based methods or based on individual's knowledge about variables of interests. They often suffer from data collection biases and limitations of individuals' knowledge. The advance of large language models (LLMs) provides opportunities to address these problems. We propose a novel method that leverages LLMs to deduce causal relationships in general causal graph recovery tasks. This method leverages knowledge compressed in LLMs and knowledge LLMs extracted from scientific publication database as well as experiment data about factors of interest to achieve this goal. Our method gives a prompting strategy to extract associational relationships among those factors and a mechanism to perform causality verification for these associations. Comparing to other LLM-based methods that directly instruct LLMs to do the highly complex causal reasoning, our method shows clear advantage on causal graph quality on benchmark datasets. More importantly, as causality among some factors may change as new research results emerge, our method show sensitivity to new evidence in the literature and can provide useful information for updating causal graphs accordingly.

연구 동기 및 목표

• 편향되거나 저품질의 관측 데이터에 의존하는 전통적 인과 발견 방법의 한계를 해결하기 위해.
• 기존의 LLM 기반 인과 추론이 모델의 내재된 추론 능력에 의존하는 문제를 해결하기 위해, 외부 과학 문헌에 기반한 추론을 통해 이를 보완하기 위해.
• 작업 전용 프롬프트나 지식 기반 자료가 필요 없는 일반화된, 데이터 기반의 인과 그래프 복원 방법을 개발하기 위해.
• 대규모 과학 문헌 코퍼스에서의 증거를 체계적으로 집계함으로써 인과 그래프 구축의 신뢰성과 정확도를 향상시키기 위해.
• 과학 문헌에서의 검색을 통한 증강 생성 기술이 향상된 LLM이 복잡한 생물학적 시스템에서 전문가 수준의 인과 추론을 달성할 수 있음을 입증하기 위해.

제안 방법

• 밀도 기반 벡터 검색을 통해 과학 문헌의 대규모 및 정제된 코퍼스에서 관련 텍스트 조각을 검색한다.
• 대규모 언어 모델(LM)을 활용해 검색된 텍스트 내 인과 요소 간의 연관 관계를 식별하고 레이블링한다.
• 다양한 문서 간에 추출된 연관 관계를 집계하여 잠재적인 인과 연결을 유추한다.
• 노드가 요소를, 방향성 있는 간선이 추론된 인과 관계를 나타내는 인과 그래프를 구축한다.
• 사실 기반의 과학 문헌에 기반해 LLM 추론을 강화함으로써 환상과 편향을 줄이는 RAG 프레임워크를 적용한다.
• 微조정이 필요 없는 다단계 프롬프팅 전략을 적용해 LLM이 관계를 추출하고 검증하도록 이끈다.

실험 결과

연구 질문

• RQ1 통계적 데이터나 도메인 전용 프롬프트에 의존하지 않고 LLM이 과학 문헌에서 인과 관계를 효과적으로 추출할 수 있는가?
• RQ2 실제 생물학적 데이터셋에서 LACR의 성능은 통계 추정 기반 인과 발견 방법보다 어떻게 비교되는가?
• RQ3 더 넓은 문헌 풀을 사용할 경우 인과 그래프 복원의 품질은 향상되는가, 아니면 악화되는가, 그리고 그 이유는 무엇인가?
• RQ4 LLM의 추론 능력이 연관 관계 탐지에 비해 인과 방향 유추의 정확도에 얼마나 제한적인가?
• RQ5 검색 기반 증강 생성 기술이 LLM의 인과 추론 능력을 향상시켜 전문가 수준의 성능을 달성할 수 있는가?

주요 결과

• LACR는 SACHS 인과 그래프에서 F1 스코어 75.00%를 기록하여, FASK(F1: 51.61%) 및 사크스의 모델(F1: 75.00%)와 같은 통계 기반 기준선 방법을 초월했다.
• BIOLOGIST 공준 그래프에서 P+S+F 풀을 사용할 경우 LACR는 F1 스코어 70.97%를 기록하여 FASK(F1: 64.86%) 및 기타 기준선보다 뚜렷이 뛰어났다.
• 연관 관계 탐지(예: P+S+F(SQ)의 경우 정밀도 50.00%, 재현율 60.00%)에서 인과 방향 유추 작업보다 높은 정밀도와 재현율을 보였다.
• 더 큰 문헌 풀을 사용할 경우 성능이 저하되었는데, 이는 분포 이탈과 모델이 최신 또는 드문 문헌 자료에 노출되지 않은 데 기인할 가능성이 높다.
• 인과 존재성 검증(연관 관계 식별)이 인과 방향 유추(방향성 추론)보다 성능이 뛰어나, LLM이 여전히 복잡한 인과 추론에 어려움을 겪고 있음을 시사한다.
• LACR의 성능은 다양한 문헌 풀에서 뛰어난 안정성을 보였으며, 가장 좋은 결과는 PubMed, SACHS, BIOLOGIST 문헌의 균형 잡힌 조합에서 달성되었다.