[论文解读] Explicit Contextual Semantics for Text Comprehension

Zhuosheng Zhang, Yuwei Wu+2 more|arXiv (Cornell University)|Sep 8, 2018

Topic Modeling参考文献 50被引用 27

一句话总结

本文提出了一种新颖的框架，通过将显式的上下文语义角色标签（SRL）整合到深度学习模型中，以增强文本理解与推理能力。通过将SRL嵌入注入到BERT等强基线模型中，该方法在SQuAD和SNLI数据集上实现了最先进（SOTA）的性能，相对误差率降低最高达3.3%，F1分数绝对提升0.3–0.4%，表明显式语义显著提升了模型的理解能力，超越了标准预训练的局限。

ABSTRACT

Who did what to whom is a major focus in natural language understanding, which is right the aim of semantic role labeling (SRL) task. Despite of sharing a lot of processing characteristics and even task purpose, it is surprisingly that jointly considering these two related tasks was never formally reported in previous work. Thus this paper makes the first attempt to let SRL enhance text comprehension and inference through specifying verbal predicates and their corresponding semantic roles. In terms of deep learning models, our embeddings are enhanced by explicit contextual semantic role labels for more fine-grained semantics. We show that the salient labels can be conveniently added to existing models and significantly improve deep learning models in challenging text comprehension tasks. Extensive experiments on benchmark machine reading comprehension and inference datasets verify that the proposed semantic learning helps our system reach new state-of-the-art over strong baselines which have been enhanced by well pretrained language models from the latest progress.

研究动机与目标

• 解决尽管显式语义信号具有提升推理与理解的潜力，但在文本理解模型中仍缺乏显式语义信号整合的问题。
• 探究语义角色标注（SRL）是否可作为稳健、通用的信号，用于增强机器阅读理解（MRC）和文本蕴涵（TE）中的深度学习模型。
• 开发一种简单、端到端的方法，将SRL嵌入注入现有神经架构中，无需对网络结构进行大规模修改。
• 验证显式语义，特别是SRL，是否优于POS和NER等其他语言学标签，在提升模型性能方面更具优势。
• 证明即使应用于高级模型如BERT，SRL增强的模型也能实现最先进性能。

提出的方法

• 该方法以端到端可训练的方式，将来自预训练SRL模型的SRL嵌入注入下游模型（如BERT或BiDAF）的输入表示中。
• SRL嵌入与词嵌入拼接，以在输入表示中引入显式的谓词-论元结构信息，例如谁对谁做了什么。
• 该框架同时应用于机器阅读理解（SQuAD）和文本蕴涵（SNLI）任务，在两项任务中均取得一致的性能提升。
• SRL模型在Ontonotes这一多样化语言语料库上进行预训练，确保了良好的领域泛化能力。
• 对SRL嵌入维度进行超参数调优，发现在SQuAD和SNLI任务上5D为最优。
• 通过对比消融实验使用POS和NER标签，验证SRL作为语义信号的优越性。

实验结果

研究问题

• RQ1 来自SRL的显式上下文语义是否能提升文本理解与推理任务的性能？
• RQ2 SRL嵌入的整合如何影响如BERT等强预训练模型的性能？
• RQ3 SRL是否在增强模型理解能力方面优于其他语言学标签（如POS和NER）？
• RQ4 在性能与泛化能力之间权衡下，SRL嵌入的最优维度是多少？
• RQ5 SRL嵌入是否能提升模型在复杂推理任务中的鲁棒性并降低错误率？

主要发现

• 所提出的SRL增强框架在SQuAD开发集上实现了最先进性能，相比BERT BASE，F1分数绝对提升0.4%，相对误差率降低3.3%。
• 在SNLI数据集上，SRL嵌入在所有测试标签类型中表现最佳，优于POS和NER嵌入。
• 5维SRL嵌入被确定为最优，其在表达能力与泛化能力之间达到最佳平衡，维度过高或过低均导致性能下降。
• 该方法持续提升强基线模型，包括BERT LARGE，在SQuAD上达到84.5% EM和91.2% F1，超越此前最先进水平。
• 该框架在不同领域和任务间均表现出鲁棒性，在MRC和TE基准上均取得一致提升，尽管仅在单一多样化SRL数据集（Ontonotes）上进行训练。
• SRL嵌入的集成方法简单而高效，无需架构修改，仅需极少微调，因此可广泛应用于现有模型。