[논문 리뷰] Efficient Causal Graph Discovery Using Large Language Models

Thomas Jiralerspong, Xiaoyin Chen외 3명|arXiv (Cornell University)|2024. 02. 02.

Biomedical Text Mining and Ontologies인용 수 5

한 줄 요약

BFS 기반 프레임워크를 제안하여 LLM을 사용해 선형 쿼리 복잡도로 전체 인과 그래프를 발견하고, 선택적 관측 데이터와 다수 그래프에서 최첨단 성능을 달성합니다.

ABSTRACT

We propose a novel framework that leverages LLMs for full causal graph discovery. While previous LLM-based methods have used a pairwise query approach, this requires a quadratic number of queries which quickly becomes impractical for larger causal graphs. In contrast, the proposed framework uses a breadth-first search (BFS) approach which allows it to use only a linear number of queries. We also show that the proposed method can easily incorporate observational data when available, to improve performance. In addition to being more time and data-efficient, the proposed framework achieves state-of-the-art results on real-world causal graphs of varying sizes. The results demonstrate the effectiveness and efficiency of the proposed method in discovering causal relationships, showcasing its potential for broad applicability in causal graph discovery tasks across different domains.

연구 동기 및 목표

• pairwise 쿼리를 넘어 인과 그래프 발견을 위해 LLM의 활용을 동기부여한다.
• O(n) 쿼리로 DAG 구조를 보장하는 BFS 기반 프레임워크를 개발한다.
• 관측 데이터를 성능 향상을 위해 도입하는 방법을 보여준다.
• 서로 다른 크기의 실제 그래프에 대해 평가하고 수치 기반 기준선 및 쌍별 LLM 방법과 비교한다.

제안 방법

• BFS에 영감을 받은 프롬프트 전략을 사용하여 노드를 확장하고 선형 쿼리 복잡도 O(n)로 에지를 발견한다.
• 세 단계 프로세스: 독립 변수 찾기를 위한 초기화, 노드의 자식 확장을 위한 확장, DAG 제약을 유지하기 위한 사이클 확인을 통한 삽입.
• 에지 삽입 전 현재 예측 그래프에 대해 DFS로 사이클 확인을 수행하여 비순환성을 보장한다.
• 요청에 Pearson 상관계수를 추가하여 프롬프트 가이던스를 개선할 수 있도록 관측 통계를 선택적으로 도입한다.
• GPT-4 API를 사용한 실험으로 위상학적 순서를 가진 BFS를 이용해 변수들을 순회하고 DAG를 구축한다.
• PC, GES, NOTEARS, DAGMA와 같은 고전적 인과 발견 방법 및 이전의 LLM 기반 쌍별 접근법과 비교하고, 관측 데이터(1000 및 10000 샘플) 실험을 추가로 수행한다.
• Asia, Child, Neuropathic Pain 그래프와 데이터 규칙(100, 1000, 10000 샘플)을 포함한 실험 설정 및 세부 정보를 제공한다.

Figure 1: Proposed framework for full graph discovery with LLMs

실험 결과

연구 질문

• RQ1 LLMs가 2차 쌍별 쿼리 없이 전체 인과 그래프 발견을 수행할 수 있는가?
• RQ2 BFS 기반 프롬프팅 전략이 선형 쿼리 복잡도와 함께 DAG 일관 전체 그래프를 보장하는가?
• RQ3 프롬프트 통계에 관측 데이터를 도입하는 것이 LLM 기반 인과 발견에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 대형 그래프에서 전통적 통계 방법 및 이전의 LLM 기반 접근법과 비교해 어떻게 확장되는가?
• RQ5 소형, 중형, 대형 실제 인과 그래프에서 방법의 성능은 어떠한가?

주요 결과

• 제안된 BFS 기반 LLM 프레임워크는 O(n) 쿼리 복잡도를 달성하는 반면 쌍별 방법은 O(n^2)이다.
• Asia(노드 8개, 에지 8개)에서 관측 데이터 없이도 F 점수 0.93, NHD 비율 0.067로 베이스라인을 능가한다.
• Child(노드 20개, 에지 25개)에서 10000 샘플의 관측 통계가 최상의 F 점수 0.63 및 NHD 비율 0.37를 보이고, 관측 데이터가 없을 때는 10000 샘플을 사용한 GES와 경쟁한다.
• Neuropathic Pain(노드 221개, 에지 770개)에서 관측 데이터 없이 제안 방법의 F 점수 0.351 및 NHD 비율 0.643으로 다른 방법은 실패하거나 계산이 어려운 반면 성공한다.
• 대형 그래프에서 쌍별 LLM 방법은 조합적 쿼리 증가로 비효율적이 되고, 수치 방법은 대형 그래프에서 메모리 또는 확장성 문제로 어려움을 겪는다.
• 관측 데이터는 전체적으로 성능을 향상시킬 수 있으며, 특히 대형 그래프에서 뚜렷한 이득을 보이나 그래프 크기와 데이터 규칙에 따라 효과가 달라진다.