[論文レビュー] Integrating Large Language Model for Improved Causal Discovery

Taiyu Ban, L L Chen+5 more|arXiv (Cornell University)|Jun 29, 2023

Topic Modeling被引用数 19

ひとこと要約

本論文は、知識ベースのLLM因果分析とデータ駆動の因果構造学習を組み合わせて、LLM情報に基づく祖先制約を CSL アルゴリズムの指針として使用し、データからより信頼性の高い因果構造を回復するフレームワークを提案します。複数のLLMとCSL手法を多様なデータセットでベンチマークし、いくつかのケースで有意な改善を示す一方で、課題と誤差許容性の必要性を強調します。

ABSTRACT

Recovering the structure of causal graphical models from observational data is an essential yet challenging task for causal discovery in scientific scenarios. Domain-specific causal discovery usually relies on expert validation or prior analysis to improve the reliability of recovered causality, which is yet limited by the scarcity of expert resources. Recently, Large Language Models (LLM) have been used for causal analysis across various domain-specific scenarios, suggesting its potential as autonomous expert roles in guiding data-based structure learning. However, integrating LLMs into causal discovery faces challenges due to inaccuracies in LLM-based reasoning on revealing the actual causal structure. To address this challenge, we propose an error-tolerant LLM-driven causal discovery framework. The error-tolerant mechanism is designed three-fold with sufficient consideration on potential inaccuracies. In the LLM-based reasoning process, an accuracy-oriented prompting strategy restricts causal analysis to a reliable range. Next, a knowledge-to-structure transition aligns LLM-derived causal statements with structural causal interactions. In the structure learning process, the goodness-of-fit to data and adherence to LLM-derived priors are balanced to further address prior inaccuracies. Evaluation of eight real-world causal structures demonstrates the efficacy of our LLM-driven approach in improving data-based causal discovery, along with its robustness to inaccurate LLM-derived priors. Codes are available at https://github.com/tyMadara/LLM-CD.

研究の動機と目的

• NP困難性とデータ制約に対処するため、LLMからの事前因果知識を統計的 CSL と統合する動機づけ。
• LLM由来の因果主張が祖先制約として機能し、因果構造学習を改善する程度を定量化する。
• 複数のデータセットと複数のLLMに対して、LLM事前情報をCSLに組み込む際のハード制約とソフト制約のアプローチを比較する。
• 高品質な事前情報を提供するLLMsを特定し、それらの指針がCSLの性能を最も改善する領域を評価する。

提案手法

• 与えられた変数についてLLMから直接的な因果関係を抽出するための普遍的なプロンプトセットを定義する。
• 理解→因果発見→改訂の三段階のLLMプロセスを用いて、直接的因果発言の集合Sを生成する。
• SをCSLの祖先制約Aに変換し、ハード制約法またはソフト制約法によって統合する。
• 祖先辺を満たすように剪定と順序ベース探索としてハード制約を形式化する。
• LLMの指針を反映した事前項をCSLスコアに付加することでソフト制約を形式化する（ベイズ事前）。
• 8つのBNリポジトリデータセットに対して、複数のCSLアルゴリズムとLLMで、LLM+CSLを純粋なデータ駆動CSLと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動CSLと組み合わせた場合、LLM由来の因果主張は回収された因果構造の品質を改善できるか？
• RQ2 LLM事前情報の品質は、データセットとアルゴリズム全体でCSLの性能にどのように影響するか？
• RQ3 LLM事前情報を組み込む際、ハード制約アプローチがソフト制約アプローチより望ましいのはいつか？
• RQ4 CSLに対して信頼できる因果事前情報を提供するLLMsはどれか、またどこで失敗するか？

主な発見

• LLM事前情報は多くのデータセットでCSLを大幅に改善し、データのみの方法と比較してF1の顕著な向上とSHDの低減を達成できる。
• GPT-4は一部のデータセット（例: Cancer、Asia）で高品質な定性的因果主張を生成する傾向があり、それらのケースで統合フレームワークを改善する。
• ソフト制約法は一般にいくつかの誤った事前情報に耐性を示し、事前情報が不完全でも改善をもたらすことがある。
• ハード制約はLLMの事前情報が高度に正確な場合、不整合なBN構造を積極的に剪定して優れている。
• GPT-4の定性的精度はデータセットとスケールによって異なり、より小さくパラメータ負荷の少ない構造での性能は良く、より複雑なものでは結果が弱い。