[論文レビュー] Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions

Yanai Elazar, Nora Kassner+7 more|arXiv (Cornell University)|Jul 28, 2022

Topic Modeling被引用数 16

ひとこと要約

本稿は、微調整を伴わずに、事前学習言語モデル（PLM）の事実的予測に直接影響を与える訓練データ統計（例えば、共起回数）の因果的影響を測定するための因果推論フレームワークを提案する。観測データとdo計算を用いて、被験的ヒューリスティック（例：主語・目的語の共起）がモデル予測に因果的に影響することを示し、効果サイズは最大57.73 CATEに達する。これにより、PLMが深い理解ではなく、浅い統計的パターンに依存していることが明らかになった。

ABSTRACT

Large amounts of training data are one of the major reasons for the high performance of state-of-the-art NLP models. But what exactly in the training data causes a model to make a certain prediction? We seek to answer this question by providing a language for describing how training data influences predictions, through a causal framework. Importantly, our framework bypasses the need to retrain expensive models and allows us to estimate causal effects based on observational data alone. Addressing the problem of extracting factual knowledge from pretrained language models (PLMs), we focus on simple data statistics such as co-occurrence counts and show that these statistics do influence the predictions of PLMs, suggesting that such models rely on shallow heuristics. Our causal framework and our results demonstrate the importance of studying datasets and the benefits of causality for understanding NLP models.

研究の動機と目的

• 訓練コーパス内の単純なデータ統計が、PLMの事実的予測に因果的に影響するかどうか、そしてどのように影響するかを理解すること。
• 再訓練にかかるコストを回避し、観測データのみから因果推定が可能な因果推論フレームワークを構築すること。
• PLMが、事実的推論よりも浅いヒューリスティック（例：共起パターン）を用いて答えを生成するかどうかを調査すること。
• 3つの特定のヒューリスティック（正確一致、パターン-目的語共起、主語-目的語共起）がモデル予測に与える因果的影響を定量すること。
• 解釈可能性およびモデル一般化の観点から、モデル行動の因果的分析のための方法論的基盤を提供すること。

提案手法

• 訓練データ統計、モデル重み、予測の間の仮定された関係をエンコードした因果グラフを構築する。
• do計算とバックドア基準を適用し、再訓練による干渉を必要とせず、観測データから因果効果を同定・推定する。
• 3つの仮説を定義する：正確一致（訓練文の記憶）、パターン-目的語共起（関係パターンと最も頻出する目的語）、主語-目的語共起（主語と最も頻出する目的語）。
• 関係ごとに平均処置効果（ATE）と条件付き平均処置効果（CATE）を推定し、異なる事実的関係における因果的影響を評価する。
• 因果効果推定の妥当性を検証するため、ヒューリスティックベース（常にヒューリスティックに基づいて予測）とパーゕフェクト（オラクル）のベースラインを用いる。
• 84のチェックポイントを持つ新しいRoBERTa-baseモデルを訓練し、学習ダイナミクスを分析し、コミュニティ利用のために公開する。

実験結果

リサーチクエスチョン

• RQ1 訓練データにおける共起統計が、PLMの事実的予測にどの程度因果的に影響を及ぼすか。
• RQ2 PLMが、より深い意味的理解よりも、主語-目的語共起のような浅いヒューリスティックに依存しているか。
• RQ3 因果効果は異なる事実的関係でどのように変化するか。効果強度の変動を説明できる要因は何か。
• RQ4 観測データからの因果推論が、訓練データ統計がモデル行動に与える影響を信頼性高く推定できるか。
• RQ5 観察された効果はモデルの学習によるものか、単なる統計的アーティファクトか。これをどのように制御できるか。

主な発見

• 主語-目的語共起の因果的影響は、CATEが57.73に達し、事実的予測に強い影響を与えていることが示された。
• パターン-目的語共起仮説のCATEは50.34であり、関係全体にわたり顕著な因果的影響を示した。
• 正確一致仮説のCATEは宗教関係で42.00に達し、訓練文の記憶が予測に顕著に寄与していることが示された。
• すべての仮説において最も低いCATE値はほぼゼロに近く、一部の関係ではヒューリスティックの因果的影響が最小限であることが示された。
• ヒューリスティックベースラインは設計上100% ATEを達成しており、フレームワークがヒューリスティック駆動の行動を正しく同定していることを確認した。
• 初期化されたランダムモデルでは、因果的効果がほぼゼロ（例：BERT-baseで-2.88）に近い値を示し、観察された効果が学習によるものであり、初期化によるものではないことを確認した。