[论文解读] CausalBERT: Injecting Causal Knowledge Into Pre-trained Models with Minimal Supervision

Zhongyang Li, Xiao Ding+3 more|arXiv (Cornell University)|Jul 21, 2021

Topic Modeling参考文献 43被引用 13

一句话总结

CausalBERT 提出了一种三阶段框架，通过极少的监督方式将因果知识注入预训练语言模型，利用精心筛选的因果模式和词嵌入构建大规模因果知识资源。该方法在因果推理任务中表现卓越，于 COPA 数据集上达到 93.5% 的准确率，在零样本设置下达到 86.4%，显著优于现有模型。

ABSTRACT

Recent work has shown success in incorporating pre-trained models like BERT to improve NLP systems. However, existing pre-trained models lack of causal knowledge which prevents today's NLP systems from thinking like humans. In this paper, we investigate the problem of injecting causal knowledge into pre-trained models. There are two fundamental problems: 1) how to collect various granularities of causal pairs from unstructured texts; 2) how to effectively inject causal knowledge into pre-trained models. To address these issues, we extend the idea of CausalBERT from previous studies, and conduct experiments on various datasets to evaluate its effectiveness. In addition, we adopt a regularization-based method to preserve the already learned knowledge with an extra regularization term while injecting causal knowledge. Extensive experiments on 7 datasets, including four causal pair classification tasks, two causal QA tasks and a causal inference task, demonstrate that CausalBERT captures rich causal knowledge and outperforms all pre-trained models-based state-of-the-art methods, achieving a new causal inference benchmark.

研究动机与目标

• 为解决预训练语言模型中缺乏因果知识的问题，该问题限制了其在自然语言处理任务中进行类人推理的能力。
• 开发一种可扩展的方法，从非结构化文本中利用语言模式和嵌入技术，在多个粒度层级（词、短语、句子、段落）上收集因果知识。
• 在不造成灾难性遗忘的前提下，有效将因果知识注入预训练模型，同时保留先前学习到的表征。
• 在多样化的因果推理任务（包括分类、问答和常识推理）上评估增强后模型的有效性。
• 通过整合多个数据集，建立新的因果推理基准，并展示相对于最先进方法的一致性改进。

提出的方法

• 使用公开的预训练模型（BERT、RoBERTa、ALBERT）作为基础编码器，避免从头开始训练。
• 利用语言模式（如 'because'、'due to'）从非结构化文本中提取因果对，实现弱监督下的数据收集。
• 引入一种自监督预训练阶段，使用收集到的因果对进行因果对分类或排序任务。
• 采用基于正则化的技术（如蒸馏或 L2 正则化）在因果微调过程中保留先前知识，缓解灾难性遗忘。
• 利用因果词嵌入学习强健的词级别因果关系，提升表征质量。
• 采用三阶段迁移学习流程：(1) 在通用文本上进行预训练，(2) 在筛选后的因果对上进行因果知识预训练，(3) 在下游任务上进行微调。

实验结果

研究问题

• RQ1 能否通过极少的监督和基于模式的数据收集方式，有效将因果知识注入预训练模型？
• RQ2 在不同粒度的因果推理任务（如词级别、句子级别、段落级别）中，注入因果知识对性能的影响如何？
• RQ3 正则化技术在因果知识注入过程中在多大程度上能防止灾难性遗忘？
• RQ4 增强后的模型在无需任务特定微调的零样本因果推理设置下是否具有良好的泛化能力？
• RQ5 所提出的方法是否能在多样化的因果推理基准上实现最先进性能？

主要发现

• 使用因果知识增强的 ALBERT 模型，CausalBERT 在 COPA 基准上达到 93.5% 的准确率，接近大型 T5-11B 模型（94.8%）的性能。
• 在零样本设置下，CausalBERT 增强的 ALBERT-xxlarge 模型在 COPA 上达到 86.4% 的准确率，优于强大的微调基线模型。
• 在 CosmosQA 数据集上，CausalBERT 增强的 ALBERT-xxlarge 模型达到 85.8% 的准确率，远超此前最先进方法的 81.8%。
• 尽管在简单任务上性能有所提升，但在更复杂的 CosmosQA 上增益有限，表明直接的因果对分类可能不足以支持间接推理。
• 该方法在所有七个评估数据集上均一致提升性能，证明其在不同复杂度的因果推理任务中具有鲁棒性。
• 正则化技术有效保留了先前知识，显著减少了因果微调过程中的灾难性遗忘。