[論文レビュー] Can Foundation Models Talk Causality?

Moritz Willig, Matej Zečević+2 more|arXiv (Cornell University)|Jun 14, 2022

Semantic Web and Ontologies被引用数 8

ひとこと要約

この論文は、自然言語プロンプトを用いて因果関係に基づく質問に答える能力を評価することで、基礎モデル（例：GPT-3、LLaMA、OPT）が因果的推論を捉えられるかを調査している。著者は体系的なベンチマークを導入し、一部のモデルが部分的な因果的推論を示す一方で、推移的および反事実的因果関係のタスクではしばしば失敗することを発見した。これは、強い相関学習を示す一方で、内部の因果的表現が限定的であることを示している。

ABSTRACT

Foundation models are subject to an ongoing heated debate, leaving open the question of progress towards AGI and dividing the community into two camps: the ones who see the arguably impressive results as evidence to the scaling hypothesis, and the others who are worried about the lack of interpretability and reasoning capabilities. By investigating to which extent causal representations might be captured by these large scale language models, we make a humble efforts towards resolving the ongoing philosophical conflicts.

研究の動機と目的

• AGIへの進展についての継続的な議論を解決するため、基礎モデルの因果的推論能力を調査すること。
• 基礎モデルが因果的表現を学習しているのか、それとも単に相関パターンに依存しているのかを検討し、'スケーリング対解釈可能性'の議論の核心を扱うこと。
• 自然言語プロンプトを用いて、基礎モデルにおける因果的推論を体系的に評価するためのベンチマークを開発・適用すること。
• ユダ・ペールの主張する「空虚な城塞（castles in the air）」であるという主張に挑戦すること、すなわち基礎モデルが因果的基盤を欠いているという主張に反論すること。
• 大規模言語モデルの重みに因果構造がどの程度エンコードされているかを実証的に示すこと。

提案手法

• 著者は、因果的鎖、干渉、反事実的要因を柱とする、126個の独自の因果的推論質問を含む因果的推論ベンチマークを設計した。
• ゼロショットプロンプトを用いて、GPT-3、LLaMA、OPT、Luminousなどの複数の基礎モデルを評価し、因果関係タスクにおける推論能力を測定した。
• 評価は、推移的因果関係（例：A→B→C ⇒ A→C）、干渉効果（例：do-計算）および反事実的推論に焦点を当てた。
• 「AがBを引き起こし、BがCを引き起こすならば、AはCを引き起こすか？」といった自然言語質問をプロンプトとして提示し、論理的一致性をテストした。
• ベンチマークには、対称的および非対称的因果的鎖に加え、曖昧または非推移的ケースも含め、モデルの耐性をテストした。
• 結果は、質問タイプおよびモデルバージョンごとの正確性を測定することで、定量的に分析された。

実験結果

リサーチクエスチョン

• RQ1 基礎モデルはどの程度、推移的因果関係（例：A→B→C ⇒ A→C）を正しく推論できるか？
• RQ2 基礎モデルはdo-計算の原則に従って干渉（例：「もしXを実行したらどうなるか？」）を推論できるか？
• RQ3 反事実的推論（例：「もしAが起こらなかったらどうだったか？」）は、事実的推論と比較してどの程度うまく処理できるか？
• RQ4 モデルは因果関係を論理的構造として扱っているのか、それとも単に相関パターンとして扱っているのか？
• RQ5 モデルのスケールと因果的推論性能の間に相関があるか？

主な発見

• GPT-3とLLaMAは推移的因果関係タスクで中程度のパフォーマンスを示し、正確性は約60–70％であったが、複雑な鎖では失敗した。
• OPTやLuminousのようなモデルは、しばしば論理的に一貫性のない回答を示し、A→B→Cの鎖で「CがAを引き起こす」と主張するなどした。
• 反事実的推論は特に弱く、事実的依存関係と反事実的依存関係を区別できないことが多かった。
• 相関に基づくタスクでは高いパフォーマンスを示すにもかかわらず、モデルは因果構造を信頼性を持ってエンコードしておらず、因果関係の上に相関を学習していると考えられる。
• 結果から、基礎モデルは因果論理を一貫したフレームワークとして内部に統合していないことが示され、因果的基盤を欠いているという見解を支持するものとなった。
• モデルのスケールと因果的推論の正確性の間に明確な相関はなく、スケールそのものが因果的推論の欠陥を解消するわけではないことが示された。