[论文解读] BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models

Shibo Hao, Bowen Tan+6 more|arXiv (Cornell University)|Jun 28, 2022

Topic Modeling被引用 13

一句话总结

BertNet 是一种框架，仅需极少用户输入（如关系提示和少量 few-shot 示例），即可自动从预训练语言模型（LMs）中提取大规模、符号化的知识图谱（KGs），且关系类型可任意设定。通过结合高效的搜索与重打分机制及提示加权策略，该方法在 BERT、RoBERTa 和 DistilBERT 等模型上，成功从 400 多种新关系中高精度地提取出多样且复杂的语义关系（例如 'capable of but not good at'），展现出卓越的性能。

ABSTRACT

It is crucial to automatically construct knowledge graphs (KGs) of diverse new relations to support knowledge discovery and broad applications. Previous KG construction methods, based on either crowdsourcing or text mining, are often limited to a small predefined set of relations due to manual cost or restrictions in text corpus. Recent research proposed to use pretrained language models (LMs) as implicit knowledge bases that accept knowledge queries with prompts. Yet, the implicit knowledge lacks many desirable properties of a full-scale symbolic KG, such as easy access, navigation, editing, and quality assurance. In this paper, we propose a new approach of harvesting massive KGs of arbitrary relations from pretrained LMs. With minimal input of a relation definition (a prompt and a few shot of example entity pairs), the approach efficiently searches in the vast entity pair space to extract diverse accurate knowledge of the desired relation. We develop an effective search-and-rescore mechanism for improved efficiency and accuracy. We deploy the approach to harvest KGs of over 400 new relations from different LMs. Extensive human and automatic evaluations show our approach manages to extract diverse accurate knowledge, including tuples of complex relations (e.g., "A is capable of but not good at B"). The resulting KGs as a symbolic interpretation of the source LMs also reveal new insights into the LMs' knowledge capacities.

研究动机与目标

• 解决现有知识图谱构建方法受限于预定义、人工整理关系的局限性。
• 实现从预训练语言模型中自动提取任意新关系的符号化、结构化知识，而不仅限于现有语料库或 KG 中的关系。
• 开发一种高效且准确的方法，将语言模型中的隐式知识转化为显式、可导航且可~编辑的符号化 KG。
• 在多种 LMs 和关系（包括复杂关系和多参数关系）上评估该方法，以理解语言模型的知识容量。

提出的方法

• 该框架以关系定义作为输入，包含自然语言提示（如 'X is capable of but not good at Y'）和少量实体对的 few-shot 示例。
• 利用语言模型的自回归生成能力，通过检索策略在庞大的实体对空间中搜索，预测给定头实体和关系的尾实体。
• 引入一种高效的搜索与重打分机制：基于提示似然和置信度的联合学习打分函数，对候选三元组进行排序，以提升效率与准确性。
• 通过引入基于重打分的提示加权策略，增强提示改写技术，提升在多样化提示下的鲁棒性与一致性。
• 支持多种 LMs（如 BERT、RoBERTa、DistilBERT），并生成作为底层 LM 知识符号化解释的完整 KG。
• 框架包含自动与人工评估协议，用于验证提取知识的质量与多样性。

实验结果

研究问题

• RQ1 我们能否从预训练语言模型中提取出高质量、多样化的知识图谱，且关系类型为任意、此前未见过的？
• RQ2 在探索海量实体对空间时，搜索与重打分机制在效率与准确性之间是否实现了良好平衡？
• RQ3 不同 LMs（如 BERT、RoBERTa、DistilBERT）在编码与检索复杂或多重参数关系方面的能力如何？
• RQ4 模型规模与预训练策略是否影响所提取知识的质量？知识蒸馏是否能提升知识保留能力？
• RQ5 所生成的 KG 是否可作为 LM 内部知识的符号化解释，从而揭示其知识容量的内在机制？

主要发现

• BertNet 从 ConceptNet 等现有 KG 中未包含的 400 多种新关系中成功提取了知识，显著扩展了可用结构化知识的范围。
• 该方法在提取如 'A is capable of but not good at B' 等复杂关系时表现出高精度，证明其能够捕捉细微的语义关系。
• 更大的 LMs（如 RoBERTa-large、BERT-large）相比其 base 版本，准确率高出约 3–7%，表明模型规模有助于提升知识编码能力。
• 更优的预训练策略（如 RoBERTa 相较于 BERT）带来更高质量的知识，其中 RoBERTaNet-large 在准确率上比 BertNet-large 高出 3 个百分点。
• 知识蒸馏（如 DistilBERT）提升了知识保留能力，相比教师模型（BERT-base）准确率提高约 4%，可能归因于噪声减少。
• 在 ConceptNet 和 LAMA 基准测试中，该框架在全三元组评分任务上均优于 COMET 和 LPAQA 等基线模型，尤其在全三元组预测而非仅尾实体预测方面表现更优。