[論文レビュー] Causal Graph Discovery with Retrieval-Augmented Generation based Large Language Models

Yuzhe Zhang, Yipeng Zhang+3 more|arXiv (Cornell University)|Feb 23, 2024

Data Quality and Management被引用数 4

ひとこと要約

本稿では、統計的データに依存せずに、科学文献を活用して因果グラフを発見するRAGベースの手法LACRを提案する。関連する研究要約を検索し、大規模言語モデル（LLM）を用いて関連関係を抽出・統合することで、SACHS や BIOLOGIST といったベンチマークデータセットで、従来の統計的手法やLLMベースの手法を上回る高品質な因果グラフを構築する。

ABSTRACT

Causal graph recovery is traditionally done using statistical estimation-based methods or based on individual's knowledge about variables of interests. They often suffer from data collection biases and limitations of individuals' knowledge. The advance of large language models (LLMs) provides opportunities to address these problems. We propose a novel method that leverages LLMs to deduce causal relationships in general causal graph recovery tasks. This method leverages knowledge compressed in LLMs and knowledge LLMs extracted from scientific publication database as well as experiment data about factors of interest to achieve this goal. Our method gives a prompting strategy to extract associational relationships among those factors and a mechanism to perform causality verification for these associations. Comparing to other LLM-based methods that directly instruct LLMs to do the highly complex causal reasoning, our method shows clear advantage on causal graph quality on benchmark datasets. More importantly, as causality among some factors may change as new research results emerge, our method show sensitivity to new evidence in the literature and can provide useful information for updating causal graphs accordingly.

研究の動機と目的

• 従来の因果発見手法が偏ったまたは低品質な観測データに依存するという限界を解消すること。
• 既存のLLMベースの因果推論がモデルの内蔵的推論能力に依存するのを回避し、外部の文献に根拠を置いた推論を実現すること。
• タスク固有のプロンプトや知識ベースを必要としない汎用的でデータ駆動型の因果グラフ回復手法を開発すること。
• 多数の科学文献から得られる証拠を体系的に統合することで、因果グラフ構築の信頼性と正確性を向上させること。
• 科学文献からの検索を強化したLLMが、複雑な生物学的システムにおいて専門家レベルの因果推論を達成できることを示すこと。

提案手法

• 密度ベクトル検索を用いて、大規模でキュレートされた科学文献のコロナから関連するテキストチャンクを取得する。
• 大規模言語モデル（LLM）を用いて、取得したテキスト内の要因間の関連関係を特定・ラベル付けする。
• 複数の文書にわたる抽出された関連関係を統合し、潜在的な因果関係を推定する。
• ノードが要因を表し、有向エッジが推定された因果関係を表す因果グラフを構築する。
• LLMの推論を事実に基づいた科学文献に根拠を置くことで、幻覚やバイアスを低減するRAGフレームワークを活用する。
• 微調整を必要とせず、関係の抽出と検証をガイドするマルチステッププロンプティング戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 統計的データやドメイン固有のプロンプトに依存せずに、LLMが科学文献から因果関係を効果的に抽出できるか。
• RQ2 LACRの性能は、実世界の生物学的データセットにおける統計推定に基づく因果発見手法と比べてどうか。
• RQ3 より広い文献プールを使用することで、因果グラフ回復の品質は向上するか、悪化するか、その理由は何か。
• RQ4 LLMの推論能力の限界が、関連関係検出と比較して、因果の方向性推定の正確性にどの程度影響を及えるか。
• RQ5 検索強化生成がLLMの因果推論を、因果グラフ構築において専門家レベルの性能にまで高められるか。

主な発見

• LACRはSACHS因果グラフでF1スコア75.00%を達成し、FASK（F1: 51.61%）やSachsのモデル（F1: 75.00%）といった統計ベースのベースライン手法を上回った。
• BIOLOGISTコンセンサスグラフでは、P+S+Fプールを用いた場合、F1スコア70.97%を達成し、FASK（F1: 64.86%）や他のベースラインと比べ顕著に優れた性能を示した。
• 関連関係検出（例：P+S+F(SQ)で50.00%の精度、60.00%の再現率）では因果方向推定より高い精度と再現率を示した。
• より大きな文献プールを使用した場合、分布シフトやモデルが新しいまたはあまり一般的でない文献ソースに十分にさらされていないことが原因で性能が低下した。
• 因果関係の存在確認（関連関係の同定）は、因果の方向性推定（方向性の推論）を上回った。これは、LLMが依然として複雑な因果推論に苦労していることを示している。
• LACRの性能は、さまざまな文献プールに対して安定しており、特にPubMed、SACHS、BIOLOGISTの文献をバランスよく組み合わせた場合に最高の結果が得られた。