[論文レビュー] Causal Structure Learning Supervised by Large Language Model

Taiyu Ban, Lyuzhou Chen+3 more|arXiv (Cornell University)|Nov 20, 2023

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿では、データ駆動型DAGにおけるエッジの検証および是正に大規模言語モデル（LLM）を用いることで、因果構造学習（CSL）を反復的に改善するILS-CSLという反復的フレームワークを提案する。エッジレベルの正確性に焦点を当て、LLMによって導かれる構造的制約を反復的に適用することにより、ILS-CSLは、特に大規模データセットにおいて、従来手法を上回る性能を発揮し、SHDの顕著な低減と高品質な制約整合性を達成する。

ABSTRACT

Causal discovery from observational data is pivotal for deciphering complex relationships. Causal Structure Learning (CSL), which focuses on deriving causal Directed Acyclic Graphs (DAGs) from data, faces challenges due to vast DAG spaces and data sparsity. The integration of Large Language Models (LLMs), recognized for their causal reasoning capabilities, offers a promising direction to enhance CSL by infusing it with knowledge-based causal inferences. However, existing approaches utilizing LLMs for CSL have encountered issues, including unreliable constraints from imperfect LLM inferences and the computational intensity of full pairwise variable analyses. In response, we introduce the Iterative LLM Supervised CSL (ILS-CSL) framework. ILS-CSL innovatively integrates LLM-based causal inference with CSL in an iterative process, refining the causal DAG using feedback from LLMs. This method not only utilizes LLM resources more efficiently but also generates more robust and high-quality structural constraints compared to previous methodologies. Our comprehensive evaluation across eight real-world datasets demonstrates ILS-CSL's superior performance, setting a new standard in CSL efficacy and showcasing its potential to significantly advance the field of causal discovery. The codes are available at \url{https://github.com/tyMadara/ILS-CSL}.

研究の動機と目的

• 既存のLLM補完型因果構造学習の限界、すなわち信頼性の低い制約と高い計算コストを解消すること。
• 観測データから学習された因果DAGの品質と耐性を、標的的かつ反復的な形でLLMフィードバックを統合することで向上させること。
• エキスパートが提供する制約への依存を減らし、LLMをスケーラブルで知識に基づいた因果推論のソースとして活用すること。
• LLMの推論による誤り伝搬を最小限に抑えるために、グローバルな制約ではなく、データ駆動型学習で示されたエッジに限定して検証すること。
• 変数数の増加に伴っても一貫した性能向上を示すことを、多様な実世界データセットで実証すること。

提案手法

• ILS-CSLは、データから学習した因果DAGを、LLMに各エッジの方向性と存在の有無を検証するクエリを繰り返し実行することで、反復的に精緻化する。
• 各反復において、LLMは変数ペair間の因果的推論に基づき、エッジが存在すべきか、あるいは逆方向にすべきかを示すエッジレベルの制約を提供する。
• このフレームワークは、LLMによって導かれた制約をハードまたはソフト事前分布として適用し、CSLアルゴリズム（例：BDeuまたはBICを用いたHC）を再訓練することで、DAG構造を改善する。
• 収束または最大反復回数に達するまでプロセスを継続し、フィードバックを用いて誤ったエッジを是正し、因果グラフを精緻化する。
• ハード制約戦略によりLLMの推論を厳密に適用する一方、ボトムアップメカニズムにより不一致するLLM出力のノイズを低減する。
• 現在のデータ学習DAGに存在するエッジに限定することで、完全なペairワイズ分析を回避し、LLM推論コストを顕著に削減する。

Figure 1 : An example of recovering missing edges by reversing existing edges.

実験結果

リサーチクエスチョン

• RQ1 LLMによって導かれる因果的知識は、因果構造学習に効果的かつ効率的に統合可能か？
• RQ2 LLMフィードバックを用いた反復的精緻化は、一回の制約適用に比べて、より優れた因果構造回復を達成できるか？
• RQ3 LLM監視型CSLの性能は、変数数の増加およびデータスパarsityの増大に伴いどのようにスケーリングするか？
• RQ4 LLMの誤りが最終的な因果構造に悪影響を及ぼす程度はどの程度か。また、そのリスクをフレームワークは緩和できるか？
• RQ5 LLM制約の統合により、制約自体を超えた構造的正確性の向上が達成可能か。これは未知の因果メカニズムの発見を示唆するか？

主な発見

• ILS-CSLは構造的ハミング距離（SHD）を顕著に低減し、CancerデータセットではベースラインCSL比で平均75％のSHD低減、Barleyデータセットでは50％の低減を達成した。
• LLM監視の最初の反復で最も顕著な改善が得られ、一部のケースではSHDが最大80％まで低減した。これは初期段階での高い影響力を示している。
• Barleyデータセット（48変数）では、データのみでSHDが33.7であったが、GPT-4制約を適用した場合54.5に悪化した（先行研究の問題点）。一方、ILS-CSLは52.0にまで低減し、優れた耐性を示した。
• Childデータセット（20変数、2000サンプル）では、2反復でSHDを12から3にまで低減し、収束性と高い正確性の向上を示した。
• フレームワークは直接制約で5つのエッジを是正し、制約範囲外の3つのエッジについても是正できた。これは、因果メカニズムの間接的発見を示している。
• 全9つのLLM制約のうち誤りであったのは2つ（青色矢印）にとどまり、フレームワークはその影響を緩和した。LLMのノイズに強く、耐性があることが示された。

Figure 2 : Erroneous LLM inference and erroneous specified edge constraints of MINOBSx-BDeu+ILS-CSL-hard.