[论文解读] Expanding the Vocabulary of BERT for Knowledge Base Construction

Dong Yang, Xu Wang+1 more|arXiv (Cornell University)|Oct 12, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出了一种词汇可扩展的 BERT（VE-BERT），通过引入多标记实体并利用标记重编码（token-recode）和特定任务微调预训练，实现对语义嵌入的保留，从而扩展 BERT 的词汇表。该方法仅使用 1.3 亿参数的 BERT-base 模型，在验证集上达到 0.362 的 F1 分数，在隐藏测试集上达到 0.323，优于在相同约束条件下表现的 GPT-3（1750 亿参数）。

ABSTRACT

Knowledge base construction entails acquiring structured information to create a knowledge base of factual and relational data, facilitating question answering, information retrieval, and semantic understanding. The challenge called "Knowledge Base Construction from Pretrained Language Models" at International Semantic Web Conference 2023 defines tasks focused on constructing knowledge base using language model. Our focus was on Track 1 of the challenge, where the parameters are constrained to a maximum of 1 billion, and the inclusion of entity descriptions within the prompt is prohibited. Although the masked language model offers sufficient flexibility to extend its vocabulary, it is not inherently designed for multi-token prediction. To address this, we present Vocabulary Expandable BERT for knowledge base construction, which expand the language model's vocabulary while preserving semantic embeddings for newly added words. We adopt task-specific re-pre-training on masked language model to further enhance the language model. Through experimentation, the results show the effectiveness of our approaches. Our framework achieves F1 score of 0.323 on the hidden test set and 0.362 on the validation set, both data set is provided by the challenge. Notably, our framework adopts a lightweight language model (BERT-base, 0.13 billion parameters) and surpasses the model using prompts directly on large language model (Chatgpt-3, 175 billion parameters). Besides, Token-Recode achieves comparable performances as Re-pretrain. This research advances language understanding models by enabling the direct embedding of multi-token entities, signifying a substantial step forward in link prediction task in knowledge graph and metadata completion in data management.

研究动机与目标

• 解决在掩码语言模型中预测多标记实体的知识库构建挑战。
• 克服标准 BERT 固定词汇表在处理多标记实体预测时的局限性。
• 在不依赖随机初始化的前提下，实现对新添加多标记实体的有效语义表示。
• 利用轻量化、参数受限的语言模型，提升链接预测与知识图谱补全性能。
• 证明特定任务微调预训练与标记重编码技术在 LM-KBC 2023 挑战中显著提升性能。

提出的方法

• 修改 BERT 的输入与输出嵌入层，将多标记实体作为词汇表中的单个标记进行处理。
• 引入标记重编码（TR）方法，通过利用组成标记的表示，为新添加的多标记实体生成语义嵌入。
• 通过查询 WikiData 并使用挑战中定义的谓词，构建自定义实体词汇表。
• 在包含词汇表中高频实体的筛选后维基百科句子上进行特定任务微调预训练。
• 在 LM-KBC 2023 挑战的训练集上对模型进行微调，实现端到端的知识库构建。
• 采用基于阈值的实体分类策略，在验证集上针对每种关系类型优化预测性能。

实验结果

研究问题

• RQ1 在 10 亿参数约束下，轻量化 BERT 模型能否有效预测知识库构建中的多标记实体？
• RQ2 与随机初始化相比，标记重编码方法是否能为新添加的多标记实体提供更优的初始语义嵌入？
• RQ3 在维基百科句子上进行特定任务微调预训练，在多大程度上提升了知识库构建性能？
• RQ4 与单独使用的方法相比，标记重编码与微调预训练的结合在 F1 分数提升方面表现如何？
• RQ5 为何 VE-BERT 在参数量远少于 GPT-3 的情况下仍能超越后者？

主要发现

• VE-BERT 在验证集上达到 0.362 的 F1 分数，在隐藏测试集上达到 0.323，优于在相同约束条件下表现的 GPT-3（1750 亿参数）。
• 标记重编码方法在无需额外训练的情况下实现了与微调预训练相当的性能，表明其在初始化高质量嵌入方面的有效性。
• 在维基百科句子上进行微调预训练使知识库构建性能提升了近 2 个百分点。
• 结合使用标记重编码与微调预训练带来了近 5 个百分点的性能提升，超过两者单独增益之和，表明存在协同增益效应。
• VE-BERT 在通用知识谓词（如 'CompoundHasParts' 和 'CountryHasOfficialLanguage'）上表现强劲，但在基于名称的谓词（如 'PersonHasSpouse'）上表现不佳，原因在于词汇表中实体频率较低。
• 模型性能受限于训练词汇表中名称实体的低频出现，表明需要对稀有实体类型提供更好的覆盖。