[論文レビュー] A Causal Framework to Quantify the Robustness of Mathematical Reasoning with Language Models

Alessandro Stolfo, Zhijing Jin+3 more|arXiv (Cornell University)|Oct 21, 2022

Topic Modeling被引用数 2

ひとこと要約

本稿では、do介入と因果中介分析を用いて、数値被演算子、演算子、文章の表層形などの入力要因の影響を分離することで、言語モデルの数学的推論における頑健性を定量化する因果推論フレームワークを提案する。主な発見は、GPT-3 Davinci (175B)モデルが他のGPTバージョンと比較して、頑健性と感受性の両面で顕著な向上を示しており、推論の正確性に質的飛躍が見られたことを示唆している。

ABSTRACT

We have recently witnessed a number of impressive results on hard mathematical reasoning problems with language models. At the same time, the robustness of these models has also been called into question; recent works have shown that models can rely on shallow patterns in the problem description when generating a solution. Building on the idea of behavioral testing, we propose a novel framework, which pins down the causal effect of various factors in the input, e.g., the surface form of the problem text, the operands, and math operators on the output solution. By grounding the behavioral analysis in a causal graph describing an intuitive reasoning process, we study the behavior of language models in terms of robustness and sensitivity to direct interventions in the input space. We apply our framework on a test bed of math word problems. Our analysis shows that robustness does not appear to continuously improve as a function of size, but the GPT-3 Davinci models (175B) achieve a dramatic improvement in both robustness and sensitivity compared to all other GPT variants.

研究の動機と目的

• 言語モデルの数学的推論タスクにおける頑健性を評価するための原則的かつ包括的なフレームワークの欠如に応えること。
• 大規模言語モデルが真の数学的推論を学習しているのか、それとも問題の定式化における表面的なパターンに依存しているのかを調査すること。
• 数値被演算子、演算子、文章のフレーミングなどの入力要因がモデル予測に与える因果的影響を解明すること。
• 因果推論を用いて、行動に根ざした形式化された方法で、数学的単語問題におけるモデルの頑健性をテストするための手法を提供すること。
• モデルサイズとインstructチューニングが、数学的推論における頑健性と感受性に与える影響を評価すること。

提案手法

• 著者らは、人間の推論に類似した因果グラフを構築し、ノードとして入力要因（被演算子N、演算子O、文章の表層形S、真値G）とモデル予測Rを定義する。
• 特定の入力要因（例：N1、N2）を変更するdo介入を適用し、真値Gを固定することで、予測への直接的因果効果の推定を可能にする。
• 因果中介分析を用いて、入力要因の全効果を直接経路と間接経路に分解し、誤った相関関係と真の推論を分離する。
• 13種類のGPTモデル（インストラクションチューニングあり・なしを含む）にこのフレームワークを適用し、モデルサイズに応じた頑健性と感受性を測定する。
• 介入を制御した状態でモデル行動の変化を定量化するために、確率的予測分布P(R)を用いる。
• 介入が意味を保持するように設計された数学的単語問題のベンチマークで、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 言語モデルは、真の算術的推論ではなく、数学的単語問題の表面的パターンにどれほど依存しているのか？
• RQ2 数値被演算子、演算子、文章のフレーミングといった異なる入力要因が、モデル予測にどのように因果的に影響を与えるのか？
• RQ3 モデルサイズやインストラクションチューニングは、頑健性の向上に連続的な改善をもたらすのか、それとも質的閾値効果が存在するのか？
• RQ4 真値Gによって捉えられる人間の推論と比較して、モデル予測の因果的メカニズムはどのように異なるのか？
• RQ5 因果推論技術を体系的に応用して、LLMの数学的推論における行動的頑健性を定量化・ベンチマーク化することは可能か？

主な発見

• GPT-3 Davinci (175B)モデルは、他のすべてのGPTバージョンと比較して、頑健性と感受性の両面で顕著な向上を示しており、推論の正確性に質的飛躍が見られたことを示唆している。
• インストラクションチューニングなしのモデルでは、サイズが大きいほど真値結果の変化に対する感受性が高まるが、必ずしも頑健性の向上とは限らない。
• インストラクションチューニングされたGPT-3モデルは、顕著に向上した頑健性と感受性を示しており、インストラクションデータでの微調整が因果的推論行動を改善していることを示唆している。
• インストラクションチューニングモデルの頑健性は、問題の複雑さが増すと低下する傾向にあり、一般化と複雑さ処理の間でトレードオフがあることを示している。
• LLaMAファミリーのモデルでは、インストラクションチューニング（例：Stanford Alpaca）が頑健性を向上させるが、全体的なパフォーマンスには顕著な向上が見られないため、この文脈では収束効果が見られる可能性がある。
• このフレームワークは、表層形Sと予測Rの間の誤った相関関係（例）を効果的に同定できており、モデルが数値的内容とは無関係に文章のフレーミングにだまされる可能性があることを明らかにした。