[论文解读] EventBERT: A Pre-Trained Model for Event Correlation Reasoning

Yucheng Zhou, Xiubo Geng+3 more|arXiv (Cornell University)|Oct 13, 2021

Topic Modeling被引用 9

一句话总结

EventBERT 是一种预训练语言模型，通过从大规模事件丰富的段落语料中挖掘并引入三种新颖的自监督目标——基于相关性的事件排序、矛盾事件标注和话语关系排序——从无标注文本中学习事件关联推理。它在四个下游任务上实现了最先进性能，在零样本设置下相比强基线模型最高提升23%。

ABSTRACT

Event correlation reasoning infers whether a natural language paragraph containing multiple events conforms to human common sense. For example, "Andrew was very drowsy, so he took a long nap, and now he is very alert" is sound and reasonable. In contrast, "Andrew was very drowsy, so he stayed up a long time, now he is very alert" does not comply with human common sense. Such reasoning capability is essential for many downstream tasks, such as script reasoning, abductive reasoning, narrative incoherence, story cloze test, etc. However, conducting event correlation reasoning is challenging due to a lack of large amounts of diverse event-based knowledge and difficulty in capturing correlation among multiple events. In this paper, we propose EventBERT, a pre-trained model to encapsulate eventuality knowledge from unlabeled text. Specifically, we collect a large volume of training examples by identifying natural language paragraphs that describe multiple correlated events and further extracting event spans in an unsupervised manner. We then propose three novel event- and correlation-based learning objectives to pre-train an event correlation model on our created training corpus. Empirical results show EventBERT outperforms strong baselines on four downstream tasks, and achieves SoTA results on most of them. Besides, it outperforms existing pre-trained models by a large margin, e.g., 6.5~23%, in zero-shot learning of these tasks.

研究动机与目标

• 为解决自然语言中事件关联推理缺乏多样化常识知识的问题。
• 开发一种能够捕捉事件之间逻辑与话语关系的预训练模型，而非依赖于标记级别的模式。
• 设计一种可扩展的无监督方法，从大规模无标注语料中收集事件丰富且相互关联的段落。
• 设计显式建模事件关联的自监督学习目标，提升推理能力，超越标准掩码语言建模。
• 实现在下游事件推理任务上的强大零样本和少样本性能，而无需任务特定的微调。

提出的方法

• EventBERT 在大规模自动构建的自然语言段落语料上进行预训练，这些段落包含多个相互关联的事件，通过无监督过滤和事件跨度检测方法提取。
• 该模型使用三种新颖的自监督目标：(1) 基于相关性的事件排序，以学习合理的事件顺序；(2) 矛盾事件标注，以识别不一致的事件对；(3) 话语关系排序，以分类事件关系如因果或时间关系。
• 训练过程基于 RoBERTa 在挖掘出的 BookCorpus 上进行持续预训练，重点在于事件级别的表征，而非标记级别的掩码。
• 通过无监督事件抽取流水线在段落中显式识别事件跨度，使模型能够将事件作为语义单元进行推理。
• 模型架构基于 BERT，其头部层经过微调以适应下游事件推理任务，如故事补全和反事实推理。
• 评估包括零样本推理和少样本微调，将 EventBERT 与 RoBERTa 及其他强基线在多个基准上进行比较。

实验结果

研究问题

• RQ1 仅从无标注文本中，预训练模型能否学习到鲁棒的事件关联推理能力，而无需人工标注的事件关系？
• RQ2 与标准掩码语言建模相比，事件感知的、基于关联的自监督目标在捕捉事件级别常识知识方面有多高效？
• RQ3 在下游推理任务上，基于事件关联数据预训练的模型在零样本和少样本设置下的泛化能力有多强？
• RQ4 与标准预训练范式相比，显式引入事件边界检测和关联目标是否能提升推理性能？
• RQ5 与基线模型相比，该模型在有限微调数据下的性能表现如何？

主要发现

• EventBERT 在四个下游事件推理任务上实现了最先进性能：故事补全、剧本推理、叙事不连贯性检测和反事实推理。
• 在零样本设置下，EventBERT 在各项任务上相比 RoBERTa 提升了6.5%至23%的绝对点，证明了其预训练阶段的强大泛化能力。
• 仅使用10%的训练数据，EventBERT 的性能即可与 RoBERTa 在完整数据集上微调后的性能相当，表明其具有极高的数据效率。
• 消融研究显示，移除任意一个提出的自监督目标（CER、CET、DRR）都会导致性能下降，其中基于相关性的事件排序（CER）影响最大（移除后下降2.36%）。
• EventBERT 显著优于使用标准跨度掩码语言建模的基线模型（Event-Span MLM），性能高出3%，证明了事件关联特定目标的优越性。
• 在构建的语料上进行评估显示，即使 RoBERTa 在相同数据上通过 MLM 进行微调，也未能学习到事件关联，证实了该任务的难度和非平凡性。