[論文レビュー] Causal Parrots: Large Language Models May Talk Causality But Are Not Causal

Matej Zečević, Moritz Willig+2 more|arXiv (Cornell University)|Aug 24, 2023

Topic Modeling被引用数 25

ひとこと要約

本論文は、現在の LLM が因果的事実に関する相関を表出できるが、真の因果推論を実際には行えていないことを主張する。 meta SCMs と Correlation of Causal Facts (CCF) 仮説を導入し、Chain-of-Thought プロンプトを用いた実証的テストを提供して、GPT-3、Luminous、OPT、GPT-4 の混在する因果能力を示す。

ABSTRACT

Some argue scale is all what is needed to achieve AI, covering even causal models. We make it clear that large language models (LLMs) cannot be causal and give reason onto why sometimes we might feel otherwise. To this end, we define and exemplify a new subgroup of Structural Causal Model (SCM) that we call meta SCM which encode causal facts about other SCM within their variables. We conjecture that in the cases where LLM succeed in doing causal inference, underlying was a respective meta SCM that exposed correlations between causal facts in natural language on whose data the LLM was ultimately trained. If our hypothesis holds true, then this would imply that LLMs are like parrots in that they simply recite the causal knowledge embedded in the data. Our empirical analysis provides favoring evidence that current LLMs are even weak `causal parrots.'

研究の動機と目的

• 因果知識が meta-structural causal models (meta SCMs) 内の因果事実の相関として埋め込まれ得るというアイデアを形式化する。
• Correlation of Causal Facts (CCF) 仮説を提案する: LLMは因果事実を再現するのは、それらが訓練データに現れるためおよび訓練誤差を最小化するためだけである。
• 現在の LLM が本当の因果推論を示すか、訓練中に見られた因果情報を単に真似ているだけかを調査する。
• 最先端の LLM が因果推論タスクと常識的因果クエリにどのように性能を示すかの実証分析を提供する。

提案手法

• 因果事実とその相関をモデル化するために、単純な SCM および meta-SCM を定義し、具現化する。
• Pearl の因果階層（L1/L2/L3）を導入して因果推論に必要な情報レベルを枠組み化する。
• Correlation of Causal Facts (CCF) 仮説を、LLM の出力を訓練データに基づく因果事実および訓練損失と結びつけて定式化する。
• 因果連鎖プロンプトおよび直観物理学タスクで LLM を実験的にテストし、因果関係を推論または記憶する能力を評価する。
• 下流タスクにおける微調整と meta-SCM アライメントの役割について論じる。

実験結果

リサーチクエスチョン

• RQ1 LLMs は介入的な因果クエリ (L2) および反事実的な因果クエリ (L3) に信頼性をもって答えられるか、それとも訓練データに存在する相関を主に反映しているだけか？
• RQ2 LLM が因果的に推論しているように見える事例を説明するには meta-SCM が十分か、そしてこれらのメタ構造は訓練データで特定できるか？
• RQ3 現在の基盤モデルは真の因果推論能力を示しているか、それとも正しい答えは主に記憶された相関か？
• RQ4 微調整と Chain-of-Thought prompting は因果および直観的物理タスクに対する LLM の性能にどう影響するか？

主な発見

• LLMs は因果推論タスクで混在した性能を示す。いくつかの正しい因果回答が現れる一方で、多くは真の因果推論ではなくデータから学習した相関を反映している。
• 著者は meta-SCM を形式化し、それらが別の SCM に関する因果事実をエンコードできることを示し、介入知識を反映するモデルを可能にする。
• Chain-of-Thought prompting はいくつかの因果および直観物理学プロンプトで性能を向上させ、特に GPT-4 においてはプロセス遵守を示し、隠れた理解を示すものではない。
• GPT-3、Luminous、OPT はタスク間で成功がまちまちで、GPT-4-CoT がプロンプト実験で最も強い結果を示す。
• Corollation of Causal Facts (CCF) 仮説は、LLM が正しい因果回答を出すとき、それらの回答が訓練データ中の観測された因果事実と結びついており、訓練目的が誤差を最小化することを示唆する。