[논문 리뷰] Causal Order: The Key to Leveraging Imperfect Experts in Causal Inference

Aniket Vashishtha, Abbavaram Gowtham Reddy외 4명|arXiv (Cornell University)|2023. 10. 23.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 인과적 순서—시제적 인과성에 따라 변수를 정렬하는 것—가 완전한 인과 그래프가 필요로 하지 않고도 정확한 인과 효과 추론을 가능하게 한다고 제안한다. 삼중체 기반 프롬프팅을 통해 GPT-3.5 및 GPT-4와 같은 대규모 언어 모델(Large Language Models, LLMs)은 인과적 순서를 정확히 추론할 수 있으며, 이는 제약 기반(PC) 및 점수 기반(CaMML) 탐색 알고리즘과 조합될 경우 특히 소규모 샘플 환경에서 성능을 크게 향상시킨다.

ABSTRACT

Large Language Models (LLMs) have been used as experts to infer causal graphs, often by repeatedly applying a pairwise prompt that asks about the causal relationship of each variable pair. However, such experts, including human domain experts, cannot distinguish between direct and indirect effects given a pairwise prompt. Therefore, instead of the graph, we propose that causal order be used as a more stable output interface for utilizing expert knowledge. Even when querying a perfect expert with a pairwise prompt, we show that the inferred graph can have significant errors whereas the causal order is always correct. In practice, however, LLMs are imperfect experts and we find that pairwise prompts lead to multiple cycles. Hence, we propose the triplet method, a novel querying strategy that introduces an auxiliary variable for every variable pair and instructs the LLM to avoid cycles within this triplet. It then uses a voting-based ensemble method that results in higher accuracy and fewer cycles while ensuring cost efficiency. Across multiple real-world graphs, such a triplet-based method yields a more accurate order than the pairwise prompt, using both LLMs and human annotators. The triplet method enhances robustness by repeatedly querying an expert with different auxiliary variables, enabling smaller models like Phi-3 and Llama-3 8B Instruct to surpass GPT-4 with pairwise prompting. For practical usage, we show how the expert-provided causal order from the triplet method can be used to reduce error in downstream graph discovery and effect inference tasks.

연구 동기 및 목표

• 백도어 기준에 기반해 인과적 순서만으로도 신뢰할 수 있는 인과 효과 추정이 가능함을 보여주기 위해.
• 인과 추론에서 전문가의 의견 도출 과제를 해결하기 위해, 인과적 순서가 전체 그래프 간선보다 전문가가 제공하기에 더 쉬운지 보여주기 위해.
• LLMs가 정확한 인과적 순서를 추론할 수 있도록 하는 새로운 삼중체 기반 프롬프팅 전략을 개발하고 평가하기 위해.
• LLM이 생성한 인과적 순서를 기존의 인과 탐색 알고리즘과 통합하여 그 정확성과 강인성을 향상시키기 위해.
• LLM을 보완한 방법이 다양한 데이터셋과 샘플 크기에서 인과적 순서 정확도에 미치는 영향을 평가하기 위해.

제안 방법

• 백도어 기준의 이론적 증명에 기반해, 인과적 순서만으로도 유효한 백도어 조정이 가능하다는 것을 제안한다.
• LLMs가 세 개의 변수를 동시에 묻는 삼중체 기반 프롬프팅 전략을 도입하여, 쌍별 프롬프팅 대비 순환 오류를 줄인다.
• 모든 세 변수 서브그래프에 대한 LLM 출력을 다수결 투표 방식으로 통합하여 전역적 인과적 순서를 도출한다.
• 이차 LLM(예: GPT-4)을 사용해 추론된 인과적 순서의 동점(tie)을 해결한다.
• LLM이 생성한 순서를 활용해 제약 기반 알고리즘(예: PC)의 방향이 지정되지 않은 간선을 정렬한다.
• LLM이 도출한 순서를 검색 공간의 사전 정보로 포함시켜 점수 기반 알고리즘(예: CaMML)의 성능을 향상시킨다.

Figure 1: The LLM-augmented causal inference process based on inferring causal order. We propose a triplet-based prompting technique to infer all three-variable subgraphs and aggregate them using majority voting to produce a causal order. The causal order can then be used to identify a valid backdoo

실험 결과

연구 질문

• RQ1 인과적 순서만으로도 완전한 인과 그래프가 없어도 정확한 인과 효과 추론이 가능한가?
• RQ2 도메인 전문가와 LLM이 전체 그래프 간선보다 인과적 순서를 제공하기가 더 쉬운가?
• RQ3 LLMs로부터 정확한 인과적 순서를 추출하는 데 있어 삼중체 기반 프롬프팅이 쌍별 프롬프팅보다 우수한가?
• RQ4 LLM이 생성한 인과적 순서는 PC 및 CaMML과 같은 기존 인과 탐색 알고리즘의 정확도를 향상시킬 수 있는가?
• RQ5 LLM을 보완한 탐색의 성능 향상은 다양한 샘플 크기와 데이터셋에서 어떻게 달라지는가?

주요 결과

• 이론적 증명과 실증적 검증을 통해 인과적 순서만으로도 유효한 백도어 조정이 가능함을 입증했다.
• 삼중체 기반 프롬프팅을 통한 LLM의 인과적 순서 추론이 쌍별 프롬프팅보다 뛰어나며, 예측에서 훨씬 적은 순환 오류를 보였다.
• PC+LLM 및 CaMML+LLM 방법은 기존 알고리즘 대비 상위 로지컬 거리($D_{ ext{top}}$)를 감소시켰으며, 특히 낮은 샘플 크기(예: 250–500)에서 두드러진 성능 향상을 보였다.
• N=500일 때, 대부분의 데이터셋에서 PC의 $D_{ ext{top}}$는 PC+LLM의 거의 두 배에 달했으며, LLM 통합으로 인한 상당한 성능 향상을 시사했다.
• N=10000일 때, Child 데이터셋에서는 CaMML+LLM이 $D_{ ext{top}}$를 최대 3배까지 감소시켰고, Asia 데이터셋에서는 5배까지 감소시켰다. 이는 고용량 샘플에서도 성능 향상이 이루어짐을 보여준다.
• Neuropathic 데이터셋의 경우, N=5000 및 N=10000일 때 CaMML+LLM이 $D_{ ext{top}}$를 향상시켰으며, 작은 샘플에서는 약간의 성능 저하가 있었지만 장기적으로는 유의미한 이점을 제공함을 보였다.

Figure 2: Variability of SHD for various graph sizes with consistent $D_{top}=0$ within each graph.