[論文レビュー] Efficient Causal Graph Discovery Using Large Language Models

Thomas Jiralerspong, Xiaoyin Chen+3 more|arXiv (Cornell University)|Feb 2, 2024

Biomedical Text Mining and Ontologies被引用数 5

ひとこと要約

BFSベースのフレームワークを提案し、LLMsを用いて全因果グラフ発見を線形クエリ複雑度で実行可能にし、観測データは任意、複数のグラフで最先端の結果を達成。

ABSTRACT

We propose a novel framework that leverages LLMs for full causal graph discovery. While previous LLM-based methods have used a pairwise query approach, this requires a quadratic number of queries which quickly becomes impractical for larger causal graphs. In contrast, the proposed framework uses a breadth-first search (BFS) approach which allows it to use only a linear number of queries. We also show that the proposed method can easily incorporate observational data when available, to improve performance. In addition to being more time and data-efficient, the proposed framework achieves state-of-the-art results on real-world causal graphs of varying sizes. The results demonstrate the effectiveness and efficiency of the proposed method in discovering causal relationships, showcasing its potential for broad applicability in causal graph discovery tasks across different domains.

研究の動機と目的

• LLMsを因果グラフ発見に対して、ペアワイズ問合せを超える動機づけ。
• O(n)クエリでDAG構造を保証するBFSベースのフレームワークを開発。
• 観測データを組み込んで性能を向上させる方法を示す。
• 実世界のさまざまなサイズのグラフで評価し、数値ベースの基準法およびペアワイズLLM法と比較する。

提案手法

• ノードを展開しエッジを発見するのに線形クエリ複雑度O(n)を達成するBFS風プロンプティング戦略を使用。
• 三段階のプロセス：独立変数を見つける初期化、ノードの子を特定する展開、DAG制約を維持するための挿入とサイクル検査。
• エッジ挿入前に現在予測されたグラフ上のDFSでサイクルをチェックして非循環性を確保。
• ポンプトへピアソン相関係数を追加して観測統計をオプションで組み込み、エッジ発見の案内部を改善する可能性。
• GPT-4 APIを用いてトップロジカル順のBFSで変数を巡回しDAGを構築。
• 古典的因果発見法（PC、GES、NOTEARS、DAGMA）および以前のLLMベースのペアワイズアプローチと比較し、観測データ（1000サンプルおよび10000サンプル）を用いた追加実験を実施。
• グラフ Asia、Child、Neuropathic Pain、データ regime（100、1000、10000サンプル）を含む実験設定のコードと詳細を提供。

Figure 1: Proposed framework for full graph discovery with LLMs

実験結果

リサーチクエスチョン

• RQ1 LLMsは二乗和のペアワイズ問合せなしに全因果グラフ発見を実行できるか？
• RQ2 BFSベースのプロンプティング戦略は線形クエリ複雑度でDAG整合の全グラフを保証するか？
• RQ3 プロンプト統計を通じた観測データの組み込みはLLMベースの因果発見にどのような影響を与えるか？
• RQ4 提案手法は従来の統計法や先行LLMベース手法と比べて大規模グラフへどのようにスケールするか？
• RQ5 小規模・中規模・大規模な実世界の因果グラフでの手法の性能はどうか？

主な発見

Method	Acc.	Prec.	Recall	F Score	NPE	NHD	Ref. NHD	NHD Ratio
Ours	0.88	1	0.88	0.93	7	0.016	0.23	0.067
Ours + 1000 samples	0.8	0.8	1	0.89	10	0.031	0.28	0.11
Ours + 10000 samples	0.8	0.8	1	0.89	10	0.031	0.28	0.11

• 提案されたBFSベースのLLMフレームワークはO(n)クエリ複雑度を達成し、ペアワイズ法のO(n^2)に対して優位性を持つ。
• Asia（ノード8、エッジ8）では、観測データ統計なしの手法がFスコア0.93、NHD比0.067を達成し、ベースラインを上回る。
• Child（ノード20、エッジ25）では、観測統計を用いた10000サンプルで最良のFスコア0.63、NHD比0.37を示す；統計なしではGES/10000サンプルと競争的。
• Neuropathic Pain（ノード221、エッジ770）では、観測データなしの提案手法はFスコア0.351、NHD比0.643を達成し、他法は失敗または計算不能。
• ペアワイズLLM法は組合せ的な問合せ増大のため大規模グラフ（例：Neuropathic Pain）では実用的でなくなる；数値法は大規模グラフでメモリやスケーラビリティの面で苦労する。
• 観測データは性能を改善できることがあり、特に大規模グラフで顕著な利得が見られるが、効果はグラフのサイズとデータ regimeによって異なる。