[论文解读] DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning

Qianglong Chen, Feng-Lin Li+4 more|arXiv (Cornell University)|Aug 1, 2022

Topic Modeling被引用 7

一句话总结

DictBERT 通过对比学习将词典知识引入预训练语言模型，引入两种新颖的预训练任务——词典条目预测和条目描述区分，以提升表征学习能力。通过使用带有额外跳跃注意力机制的插件式知识库，实现知识注入，其在 BERT-large 上实现 +3.3% 的性能提升，在 GLUE 上实现 +0.9% 的性能提升。

ABSTRACT

Although pre-trained language models (PLMs) have achieved state-of-the-art performance on various natural language processing (NLP) tasks, they are shown to be lacking in knowledge when dealing with knowledge driven tasks. Despite the many efforts made for injecting knowledge into PLMs, this problem remains open. To address the challenge, we propose extbf{DictBERT}, a novel approach that enhances PLMs with dictionary knowledge which is easier to acquire than knowledge graph (KG). During pre-training, we present two novel pre-training tasks to inject dictionary knowledge into PLMs via contrastive learning: extit{dictionary entry prediction} and extit{entry description discrimination}. In fine-tuning, we use the pre-trained DictBERT as a plugin knowledge base (KB) to retrieve implicit knowledge for identified entries in an input sequence, and infuse the retrieved knowledge into the input to enhance its representation via a novel extra-hop attention mechanism. We evaluate our approach on a variety of knowledge driven and language understanding tasks, including NER, relation extraction, CommonsenseQA, OpenBookQA and GLUE. Experimental results demonstrate that our model can significantly improve typical PLMs: it gains a substantial improvement of 0.5\%, 2.9\%, 9.0\%, 7.1\% and 3.3\% on BERT-large respectively, and is also effective on RoBERTa-large.

研究动机与目标

• 为解决预训练语言模型（PLMs）在知识密集型自然语言处理任务中缺乏事实性知识的问题。
• 探索使用易于获取的词典知识替代复杂知识图谱（KGs）或噪声较大的维基百科来源的可行性和有效性。
• 开发一种方法，以同时增强知识注入和通用语言理解能力。
• 设计一种实用且可扩展的方法，可在工业和学术环境中轻松部署。

提出的方法

• 提出两种新颖的预训练任务：词典条目预测（遮蔽条目并根据描述进行预测）和条目描述区分（使用同义词/反义词作为正样本/负样本进行对比学习）。
• 利用对比学习提升条目表征的鲁棒性，通过区分语义相似（正样本）和不相似（负样本）的描述。
• 引入插件式知识库机制，使预训练的 DictBERT 在微调阶段可检索条目信息以应用于下游任务。
• 采用额外跳跃注意力机制，有效将检索到的词典知识融合到输入表征中。
• 支持多种知识注入策略：拼接、LWA（可学习加权注意力）和 EHA（额外跳跃注意力），实现灵活集成。
• 利用半结构化词典数据——相比维基百科或知识图谱更具可访问性和知识密度——支持实际部署。

实验结果

研究问题

• RQ1 作为外部知识的一种形式，词典知识是否能显著提升预训练语言模型在知识密集型任务上的性能？
• RQ2 对比学习是否能有效学习从描述中提取词典条目的鲁棒表征？
• RQ3 使用词典知识增强的 PLM 是否能同时提升知识特定任务和通用语言理解任务的性能？
• RQ4 与使用知识图谱或维基百科的现有 K-PLMs 相比，DictBERT 的性能如何？
• RQ5 所提出的基于插件的知识注入机制是否优于直接微调预训练模型？

主要发现

• DictBERT 在 CommonsenseQA、OpenBookQA 和 GLUE 基准测试中，于 BERT-large 上实现 +3.3% 的性能提升，显著优于现有 K-PLMs。
• 该模型在 GLUE 基准测试中使 RoBERTa-large 的性能提升 +0.9%，证明其在特定任务之外也具有广泛适用性。
• 消融实验证实，使用词典知识进行预训练至关重要，仅将 BERT-large 作为插件使用仅带来微小收益。
• 对比学习（条目描述区分）带来 +0.4% 的平均性能提升，验证了其在表征学习中的作用。
• 额外跳跃注意力机制（EHA）表现最佳，在 CSQA 上实现 +6.1% 的提升，在 OBQA 上实现 +7.7% 的提升，均超过 BERT-large。
• 使用更大词典（来自剑桥、牛津和 Wiktionary 的 100 万个条目）带来 +0.23% 的平均性能提升，表明其具备可扩展性和鲁棒性。