[論文レビュー] CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs

Yu Zhou, Xingyu Wu+4 more|arXiv (Cornell University)|Apr 9, 2024

Topic Modeling被引用数 4

ひとこと要約

CausalBench は、多様なタスク、因果ネットワークのスケール、データタイプをカバーする包括的なベンチマークであり、大規模言語モデル（LLMs）の因果学習能力を評価する。LLMs は、特に複雑または大規模なネットワークにおいて、相関関係と因果関係を区別する能力に欠けることが明らかになった。また、構造化データと背景知識が性能向上に果たす重要な役割が強調された。

ABSTRACT

The ability to understand causality significantly impacts the competence of large language models (LLMs) in output explanation and counterfactual reasoning, as causality reveals the underlying data distribution. However, the lack of a comprehensive benchmark currently limits the evaluation of LLMs' causal learning capabilities. To fill this gap, this paper develops CausalBench based on data from the causal research community, enabling comparative evaluations of LLMs against traditional causal learning algorithms. To provide a comprehensive investigation, we offer three tasks of varying difficulties, including correlation, causal skeleton, and causality identification. Evaluations of 19 leading LLMs reveal that, while closed-source LLMs show potential for simple causal relationships, they significantly lag behind traditional algorithms on larger-scale networks ($>50$ nodes). Specifically, LLMs struggle with collider structures but excel at chain structures, especially at long-chain causality analogous to Chains-of-Thought techniques. This supports the current prompt approaches while suggesting directions to enhance LLMs' causal reasoning capability. Furthermore, CausalBench incorporates background knowledge and training data into prompts to thoroughly unlock LLMs' text-comprehension ability during evaluation, whose findings indicate that, LLM understand causality through semantic associations with distinct entities, rather than directly from contextual information or numerical distributions.

研究の動機と目的

• 現在の評価設計が狭く、均質的で単純であるため、LLMs の因果学習を評価する包括的なベンチマークの欠如に対処すること。
• 因果構造同定、相関関係 vs. 因果関係の区別、反事後的推論を含む、幅広い因果学習タスクにおける LLM のパフォーマンスを評価すること。
• 因果ネットワークのスケール（小規模から大規模まで）、密度、構造的複雑さ（例：鎖状構造、交絡要因、コリダー）の変化に伴う LLM のパフォーマンスを調査すること。
• 背景知識と構造化データが、曖昧な変数名や複雑な推論チェーンを扱う際の LLM の因果的推論に与える影響を検討すること。
• 特に中規模および大規模データセットにおいて、LLMs と最先端の因果学習アルゴリズムとの間のパフォーマンスギャップを特定すること。

提案手法

• CausalBench は、因果構造同定、相関関係 vs. 因果関係の区別、反事後的推論という3つのコアな因果学習タスクを有するベンチマークを構築する。
• 評価は、ノード数が 2 から 109 個までのさまざまなサイズと密度の因果ネットワークを含むことで、タスク難易度の増加に対応する。
• 変数名のみ、変数名に背景知識を追加、変数名に構造化データ（例：DAG や数値テーブル）を追加するなど、複数のデータモダリティを統合する。
• 合成的および現実世界を模倣した因果構造を統合し、鎖状構造、交絡要因、コリダーを含む、現実的な推論シナリオを再現する。
• 標準指標（正確度、F1スコア、因果構造回復率）を用いてパフォーマンスを評価し、古典的および最先端の因果学習アルゴリズムと比較する。
• 一般化性とロバストネスを評価するために、複数の実験シリーズを通じて 19 個の主要な LLM（オープンソースおよびクローズドソースを含む）を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMs は、さまざまなネットワーク構造やスケールにおいて、因果関係と単なる相関関係をどれほど適切に区別できるか？
• RQ2 変数名が曖昧な状況において、背景知識が LLM の因果的推論をどの程度向上させるか？
• RQ3 DAG や数値テーブルなどの構造化データの導入が、テキストのみの入力と比較して LLM の因果構造同定能力に与える影響は何か？
• RQ4 ノード数、深さ、インデグリーやアウトディグリーで測定されるネットワーク複雑性が、因果構造同定における LLM のパフォーマンスに与える影響は何か？
• RQ5 中規模および大規模な因果ネットワークにおいて、LLMs と最先端の因果学習アルゴリズムとの間のパフォーマンスギャップはどの程度か？

主な発見

• 最高性能を示した LLM は、小規模データセットで 65.28% の正確度、中規模で 74.70%、大規模で 68.06% を記録した。F1スコアは、小規模（0.7017）から中規模（0.5825）へ、大規模（0.4310）へと低下した。
• LLMs は鎖状構造では良好なパフォーマンス（F1: 約 0.70）を示したが、コリダー構造では顕著に困難を示した（F1: 約 0.40）ことから、複雑な因果的依存関係の処理に苦労していることが示された。
• DAG のインデグリーやアウトディグリーが、データセット全体の平均値の2倍を超えた場合、LLM の正確度は50%未満に低下した。これは、ネットワークのスパarsity と複雑さに対する感受性を示している。
• 背景知識は、変数名が意味的に明確な場合にのみ顕著にパフォーマンスを向上させた。曖昧な名前に対しては、ほとんどまたは全く利益をもたらさなかった。
• クローズドソースの LLM は、構造化データの活用においてオープンソースモデルを上回ったが、オープンソースモデルは主にテキスト的ヒントに依存しており、スケーラビリティが制限された。
• LLMs は、特に大規模データセットにおいて、最先端の因果学習手法と比較して一貫して低いパフォーマンスを示した。ネットワークの複雑さが増すにつれて、パフォーマンスギャップは拡大した。