[論文レビュー] Causal Reasoning and Large Language Models: Opening a New Frontier for Causality

Emre Kıcıman, Robert A. Van Ness+2 more|arXiv (Cornell University)|Apr 28, 2023

Topic Modeling被引用数 90

ひとこと要約

論文はGPT-3.5/4ベースの方法が因果推論と反事実タスクで最先端の精度を達成することを示し、堅牢性の懸念を強調し、LLMを伝統的な因果手法と統合する枠組みを提案する。

ABSTRACT

The causal capabilities of large language models (LLMs) are a matter of significant debate, with critical implications for the use of LLMs in societally impactful domains such as medicine, science, law, and policy. We conduct a "behavorial" study of LLMs to benchmark their capability in generating causal arguments. Across a wide range of tasks, we find that LLMs can generate text corresponding to correct causal arguments with high probability, surpassing the best-performing existing methods. Algorithms based on GPT-3.5 and 4 outperform existing algorithms on a pairwise causal discovery task (97%, 13 points gain), counterfactual reasoning task (92%, 20 points gain) and event causality (86% accuracy in determining necessary and sufficient causes in vignettes). We perform robustness checks across tasks and show that the capabilities cannot be explained by dataset memorization alone, especially since LLMs generalize to novel datasets that were created after the training cutoff date. That said, LLMs exhibit unpredictable failure modes, and we discuss the kinds of errors that may be improved and what are the fundamental limits of LLM-based answers. Overall, by operating on the text metadata, LLMs bring capabilities so far understood to be restricted to humans, such as using collected knowledge to generate causal graphs or identifying background causal context from natural language. As a result, LLMs may be used by human domain experts to save effort in setting up a causal analysis, one of the biggest impediments to the widespread adoption of causal methods. Given that LLMs ignore the actual data, our results also point to a fruitful research direction of developing algorithms that combine LLMs with existing causal techniques. Code and datasets are available at https://github.com/py-why/pywhy-llm.

研究の動機と目的

• 因果推論タスクのスペクトラムを明らかにし（共分散ベース、論理ベース、タイプ対実際の因果性）、LLMsがそれらにどう適合するかを説明する。
• LLMを因果発見ベンチマークと実際の因果性タスクで評価し、能力と限界を理解する。
• LLMがメタデータを活用して因果グラフと推論を導く知識ベースのアプローチを提案する。
• 実務上、特に高度リスク領域で従来の因果手法を置換するのではなく補完できるLLMの活用を強調する。

提案手法

• LLMs（GPT-3.5およびGPT-4）をペアワイズ因果発見で評価する。テュービンゲン因果対ペアベンチマークと他の医療/気候データセットを用いて。
• 方向性因果判断と反事実推論を引き出すプロンプト設計。
• データ記憶化と伏せ字テストを用いてロバスト性を検証し、結果がデータの覚え込みによるものではないことを確認する。
• LLMの性能を最先端の共分散ベース因果発見法と比較する。
• 変数メタデータから因果グラフを生成する際のLLMsの役割を分析する。

実験結果

リサーチクエスチョン

• RQ1 変数メタデータだけを用いてLLMsは二変数間の因果方向を識別できるか？
• RQ2 二変数間の因果発見と完全なグラフ発見において、共分散ベース手法と比較してLLMsはどう機能するか？
• RQ3 LLMsは反事実質問にどの程度答え、必要十分因子を特定できるか？
• RQ4 LLMsの因果推論をプロンプトで検証する際の堅牢性と memorization の懸念は？
• RQ5 実務上、LLMsは伝統的な因果手法をどのように補完できるか？

主な発見

• LLMsはテュービンゲンのペアワイズ因果発見タスクで最大97%の精度を達成し、従来の最高を約13ポイント上回る。
• GPT-3.5/4は因果発見のための医療の痛み診断と気候データセットで高い性能を示す。
• GPT-4は反事実推論ベンチマークで92%の精度を達成し、物語資料で必要十分因子を特定する精度が86%。
• 性能はプロンプト設計に大きく依存し、予測不能な故障モードを示すことがある。
• LLMsはドメイン知識を活用して自然言語の文脈から因果グラフを生成することで補完的な知識ベースの信号を提供する。
• LLMsはブートストラップ、批評、自然言語と形式的因果表現の間の翻訳を通じて、既存の因果手法を補完できる。