[論文レビュー] CausalBERT: Injecting Causal Knowledge Into Pre-trained Models with Minimal Supervision

Zhongyang Li, Xiao Ding+3 more|arXiv (Cornell University)|Jul 21, 2021

Topic Modeling参考文献 43被引用数 13

ひとこと要約

CausalBERTは、最小限の監視のもとで、体系的に選別された因果的パターンと単語埋め込みを活用して、大規模な因果的知識リソースを構築するための三段階フレームワークを提案する。この手法は、SOTAの性能を達成し、COPAで93.5%の正確度、ゼロショット設定で86.4%を記録し、既存のモデルと比較して因果推論タスクにおいて顕著に優れている。

ABSTRACT

Recent work has shown success in incorporating pre-trained models like BERT to improve NLP systems. However, existing pre-trained models lack of causal knowledge which prevents today's NLP systems from thinking like humans. In this paper, we investigate the problem of injecting causal knowledge into pre-trained models. There are two fundamental problems: 1) how to collect various granularities of causal pairs from unstructured texts; 2) how to effectively inject causal knowledge into pre-trained models. To address these issues, we extend the idea of CausalBERT from previous studies, and conduct experiments on various datasets to evaluate its effectiveness. In addition, we adopt a regularization-based method to preserve the already learned knowledge with an extra regularization term while injecting causal knowledge. Extensive experiments on 7 datasets, including four causal pair classification tasks, two causal QA tasks and a causal inference task, demonstrate that CausalBERT captures rich causal knowledge and outperforms all pre-trained models-based state-of-the-art methods, achieving a new causal inference benchmark.

研究の動機と目的

• 事前学習された言語モデルに因果的知識が欠如していることによる、NLPタスクにおける人間のような推論能力の制限を是正すること。
• 文脈的パターンと埋め込みを用いて、非構造化テキストから複数の粒度（語、語句、文、本文）で因果的知識をスケーラブルに収集する手法の開発。
• 災難的忘却を回避しつつ、事前学習モデルに因果的知識を効果的に統合し、以前に学習された表現を保持すること。
• 分類、質問応答、常識的推論を含む多様な因果推論タスクにおいて、強化されたモデルの有効性を評価すること。
• 複数のデータセットを統合して、因果推論のための新規ベンチマークを確立し、SOTA手法に対して一貫した改善を示すこと。

提案手法

• 学習から再構築を避けるために、公開済みの事前学習モデル（BERT、RoBERTa、ALBERT）を基本エンコーダーとして使用する。
• 「because」や「due to」などの文脈的パターンを用いて、非構造化テキストから因果的ペアを抽出し、データ収集のための弱い監視を実現する。
• 収集した因果的ペアを用いて、自己教師あり事前学習ステージを実施し、因果的ペア分類またはランク付けタスクを実行する。
• 微調整中に過去の知識を保持するため、正則化手法（例： distillation や L2 正則化）を適用し、災難的忘却を緩和する。
• 因果的単語埋め込みを用いて、強力な語レベルの因果関係を学習し、表現品質を向上させる。
• 三段階の転移学習パイプラインを採用する：(1) 一般テキストでの事前学習、(2) 構築済み因果的ペアでの因果的知識事前学習、(3) 下流タスクでの微調整。

実験結果

リサーチクエスチョン

• RQ1 最小限の監視とパターンに基づくデータ収集を用いて、因果的知識を事前学習モデルに効果的に統合できるか？
• RQ2 因果的知識の統合が、語レベル、文レベル、本文レベルなどの異なる粒度の因果推論タスクに与える影響は何か？
• RQ3 正則化技術が、因果的知識統合中に災難的忘却をどれほど効果的に防止できるか？
• RQ4 タスク固有の微調整なしに、強化されたモデルがゼロショットの因果推論設定にどれほど一般化できるか？
• RQ5 提案手法が、多様な因果推論ベンチマークでSOTAの性能を達成できるか？

主な発見

• 因果的知識を統合したALBERTモデルを用いたCOPAベンチマークでは93.5%の正確度を達成し、大規模なT5-11Bモデル（94.8%）に近い性能を示した。
• CausalBERTで強化されたALBERT-xxlargeモデルは、ゼロショット設定でもCOPAで86.4%の正確度を記録し、強力な微調整ベースラインを上回った。
• CosmosQAデータセットでは、CausalBERTで強化されたALBERT-xxlargeモデルが85.8%の正確度を達成し、以前のSOTA（81.8%）を大きく上回った。
• 簡単なタスクでは改善が見られたが、より複雑なCosmosQAでは改善が限定的であったため、直接的な因果ペア分類だけでは間接的推論には不十分である可能性を示唆した。
• 評価された7つのデータセットすべてで一貫した性能向上が確認され、複雑さの異なる因果推論タスクにおいても強靭性を示した。
• 正則化手法が効果的に過去の知識を保持し、因果的微調整中に災難的忘却を軽減した。