[論文レビュー] Causal Order: The Key to Leveraging Imperfect Experts in Causal Inference

Aniket Vashishtha, Abbavaram Gowtham Reddy+4 more|arXiv (Cornell University)|Oct 23, 2023

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、因果的順序（時間的因果関係による変数の順序付け）が、完全な因果グラフを必要とせずに正確な因果効果推定を可能にするという主張を行う。トライアドベースのプロンプト技術を用いることで、GPT-3.5 や GPT-4 といった大規模言語モデル（LLMs）が因果的順序を正確に推定でき、特にサンプル数が少ない状況下で、制約ベース（PC）およびスコアベース（CaMML）の発見アルゴリズムと組み合わせることで性能が顕著に向上する。

ABSTRACT

Large Language Models (LLMs) have been used as experts to infer causal graphs, often by repeatedly applying a pairwise prompt that asks about the causal relationship of each variable pair. However, such experts, including human domain experts, cannot distinguish between direct and indirect effects given a pairwise prompt. Therefore, instead of the graph, we propose that causal order be used as a more stable output interface for utilizing expert knowledge. Even when querying a perfect expert with a pairwise prompt, we show that the inferred graph can have significant errors whereas the causal order is always correct. In practice, however, LLMs are imperfect experts and we find that pairwise prompts lead to multiple cycles. Hence, we propose the triplet method, a novel querying strategy that introduces an auxiliary variable for every variable pair and instructs the LLM to avoid cycles within this triplet. It then uses a voting-based ensemble method that results in higher accuracy and fewer cycles while ensuring cost efficiency. Across multiple real-world graphs, such a triplet-based method yields a more accurate order than the pairwise prompt, using both LLMs and human annotators. The triplet method enhances robustness by repeatedly querying an expert with different auxiliary variables, enabling smaller models like Phi-3 and Llama-3 8B Instruct to surpass GPT-4 with pairwise prompting. For practical usage, we show how the expert-provided causal order from the triplet method can be used to reduce error in downstream graph discovery and effect inference tasks.

研究の動機と目的

• バックドア基準に従う有効なバックドア調整が、完全な因果グラフではなく因果的順序のみで十分であることを示す。
• 因果推定における専門家の意見集約の課題を解決するため、完全なグラフエッジよりも因果的順序を専門家が提供しやすいことを示す。
• LLMs が正確な因果的順序を推定できる新しいトライアドベースのプロンプト戦略を開発・評価する。
• LLM が生成した因果的順序を、既存の因果発見アルゴリズムと統合し、その正確性と頑健性を向上させる。
• LLM補強型手法が、多様なデータセットおよびサンプルサイズにおいて因果的順序の正確性に与える影響を評価する。

提案手法

• バックドア基準がトポロジカル順序に依存することを理論的に証明し、因果的順序のみで有効なバックドア調整が可能であると主張する。
• LLM に3つの変数を一度に提示するトライアドベースのプロンプト戦略を導入し、ペアワイズプロンプトに比べてサイクルエラーが少なくなるようにする。
• すべての3変数サブグラフにおける LLM の出力をメジャー投票で集約し、グローバルな因果的順序を生成する。
• 推定された因果的順序における同順位を解消するために、2番目の LLM（例：GPT-4）を用いる。
• LLM が生成した順序を用いて、未定向のエッジを方向付けることで、制約ベースのアルゴリズム（例：PC）を補強する。
• LLM が導出した順序を探索空間における事前分布として組み込むことで、スコアベースのアルゴリズム（例：CaMML）を強化する。

Figure 1: The LLM-augmented causal inference process based on inferring causal order. We propose a triplet-based prompting technique to infer all three-variable subgraphs and aggregate them using majority voting to produce a causal order. The causal order can then be used to identify a valid backdoo

実験結果

リサーチクエスチョン

• RQ1 因果的順序のみで、完全な因果グラフに代えて正確な因果効果推定が可能か？
• RQ2 因果的順序は、ドメイン専門家および LLM にとって、完全なグラフエッジを提供するのよりも容易か？
• RQ3 LLM からの正確な因果的順序を抽出する際、トライアドベースのプロンプトはペアワイズプロンプトを上回るか？
• RQ4 LLM が生成した因果的順序は、PC や CaMML といった既存の因果発見アルゴリズムの正確性を向上させるか？
• RQ5 LLM 補強型発見手法による性能向上は、さまざまなサンプルサイズおよびデータセットでどのように変化するか？

主な発見

• 理論的証明および実証的検証により、因果的順序のみで有効なバックドア調整が可能であることが示された。
• トライアドベースのプロンプトによる LLM による因果的順序推定は、ペアワイズプロンプトを上回り、予測におけるサイクルエラーが顕著に少ない。
• PC+LLM および CaMML+LLM の手法は、ベースラインアルゴリズムに比べてトポロジカル距離（$D_{ ext{top}}$）を低減しており、特にサンプル数が少ない場合（例：250–500）に顕著な改善が見られた。
• N=500 の場合、PC の $D_{ ext{top}}$ は多数のデータセットで PC+LLM のほぼ2倍に達しており、LLM 結合による顕著な改善が示された。
• N=10000 の場合、Child データセットでは CaMML+LLM が $D_{ ext{top}}$ を最大3倍まで低減し、Asia データセットでは5倍まで低減した。これは、高サンプルサイズ下でも性能向上が見られたことを示している。
• Neuropathic データセットでは、N=5000 および N=10000 の場合に CaMML+LLM が $D_{ ext{top}}$ を改善したが、小規模なサンプルではわずかに劣化した。これは長期的利点があることを示している。

Figure 2: Variability of SHD for various graph sizes with consistent $D_{top}=0$ within each graph.