[论文解读] Contextualized Representations Using Textual Encyclopedic Knowledge

Mandar Joshi, Kenton Lee+2 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 52被引用 23

一句话总结

本文提出了一种TEK增强表示方法，通过动态检索提及实体的相关维基百科句子，将输入文本与之联合上下文化，使用预训练的BERT风格模型。通过整合文本百科知识并利用知识增强输入进行自监督预训练微调，该方法在阅读理解任务中达到最先进性能，在TriviaQA上的F1提升1.6–3.1，在跨域MRQA数据集上的F1提升1.1–4.2。

ABSTRACT

We present a method to represent input texts by contextualizing them jointly with dynamically retrieved textual encyclopedic background knowledge from multiple documents. We apply our method to reading comprehension tasks by encoding questions and passages together with background sentences about the entities they mention. We show that integrating background knowledge from text is effective for tasks focusing on factual reasoning and allows direct reuse of powerful pretrained BERT-style encoders. Moreover, knowledge integration can be further improved with suitable pretraining via a self-supervised masked language model objective over words in background-augmented input text. On TriviaQA, our approach obtains improvements of 1.6 to 3.1 F1 over comparable RoBERTa models which do not integrate background knowledge dynamically. On MRQA, a large collection of diverse QA datasets, we see consistent gains in-domain along with large improvements out-of-domain on BioASQ (2.1 to 4.2 F1), TextbookQA (1.6 to 2.0 F1), and DuoRC (1.1 to 2.0 F1).

研究动机与目标

• 通过将外部文本百科知识整合到上下文表示中，提升阅读理解中的事实推理能力。
• 通过动态检索相关维基百科句子，解决预训练模型在捕捉长尾事实知识方面的局限性。
• 通过在输入中加入检索到的文本知识，实现对强大预训练BERT风格编码器的直接重用。
• 通过在TEK增强文本上进行预训练并采用掩码语言建模目标，减少预训练与微调输入之间的分布差异。
• 通过知识增强的表示学习，在域内和跨域问答基准上均实现一致的性能提升。

提出的方法

• 将输入文本（如问题和段落）与关于输入中提及实体的动态检索维基百科句子进行增强。
• 使用带有特殊标记以区分输入类型（原始文本与背景句子）的预训练RoBERTa模型对增强后的输入进行编码。
• 在TEK增强输入上进行预训练时应用自监督掩码语言建模目标，使模型的归纳偏差与下游任务输入对齐。
• 使用实体链接和n-gram匹配技术检索相关维基百科句子，检索函数具有灵活性和可插拔性。
• 在抽取式问答任务上，使用TEK增强输入对模型进行端到端微调。
• 尽管增加了背景知识，该方法通过不增加最大序列长度，保持了输入长度约束。

实验结果

研究问题

• RQ1 当将动态检索的文本百科知识整合到上下文表示中时，能否提升阅读理解任务中的事实推理能力？
• RQ2 在TEK增强输入上进行预训练是否能减少预训练与微调之间的分布偏移，从而提升性能？
• RQ3 未经架构修改的现成BERT风格模型能否有效利用外部文本知识？
• RQ4 知识集成对域内和跨域问答基准性能有何影响？
• RQ5 检索质量在多大程度上影响TEK增强表示的有效性？

主要发现

• 在TriviaQA上，该方法相比未整合背景知识的同类RoBERTa模型，F1提升1.6至3.1。
• 在MRQA上，域内表现一致提升，跨域表现显著：BioASQ上F1提升2.1至4.2，TextbookQA上F1提升1.6至2.0，DuoRC上F1提升1.1至2.0。
• 在TEK增强输入上进行自监督预训练显著提升了模型性能，减少了预训练与微调输入之间的分布差异。
• 该方法通过将输入格式化为区分原始文本与背景句子，实现了对强大预训练编码器（如RoBERTa）的直接重用，无需架构修改。
• 即使采用简单的检索方法（实体链接和n-gram匹配），该方法仍取得显著性能提升，表明未来采用更先进的检索方法可进一步优化效果。
• 该方法保持了输入长度约束，尽管增加了多条背景句子，也无需增加最大序列长度。