[论文解读] Language Models are Open Knowledge Graphs

Chenguang Wang, Xiao Liu+1 more|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 47被引用 81

一句话总结

MaMa 在无监督条件下以单次前向传播，从预训练的语言模型构建开放知识图谱，将语料库事实与 LM 知识匹配并映射到固定和开放的模式；在 TAC KBP 和 Wikidata 任务上超越 Open IE 基线。

ABSTRACT

This paper shows how to construct knowledge graphs (KGs) from pre-trained language models (e.g., BERT, GPT-2/3), without human supervision. Popular KGs (e.g, Wikidata, NELL) are built in either a supervised or semi-supervised manner, requiring humans to create knowledge. Recent deep language models automatically acquire knowledge from large-scale corpora via pre-training. The stored knowledge has enabled the language models to improve downstream NLP tasks, e.g., answering questions, and writing code and articles. In this paper, we propose an unsupervised method to cast the knowledge contained within language models into KGs. We show that KGs are constructed with a single forward pass of the pre-trained language models (without fine-tuning) over the corpora. We demonstrate the quality of the constructed KGs by comparing to two KGs (Wikidata, TAC KBP) created by humans. Our KGs also provide open factual knowledge that is new in the existing KGs. Our code and KGs will be made publicly available.

研究动机与目标

• 证明预训练语言模型中存储的知识可以直接被检索出来，用以在不需要人工监督的情况下构建知识图谱。
• 提出 MaMa，一个两阶段的 Match-and-Map 流水线，从文本和 LM 知识构建开放的知识图谱。
• 将映射事实的质量对比 oracle 知识库（TAC KBP 和 Wikidata），并分析未映射的（开放模式）事实。

提出的方法

• 将事实表示为（head, relation, tail）三元组，并通过使用前向 LM 传递的注意力权重，将 LM 存储的知识与语料库事实进行匹配来生成候选事实。
• 对注意力矩阵进行束搜索，以在不微调 LM 的情况下提取最佳的 head-tail 候选事实。
• 使用基于度数、不同关系频次和连续性约束来筛选候选事实。
• 通过无监督实体链接和关系映射将候选事实映射到固定的 KG 模式；未映射的事实在开放知识图谱中形成开放模式。
• 生成一个开放知识图谱，将固定模式中的映射事实与开放模式中的未映射事实结合起来。
• 将映射事实对比 oracle KG（TAC KBP 2013, Wikidata），并分析未映射事实的质量和错误来源。

实验结果

研究问题

• RQ1 预训练语言模型是否能够存储并揭示足以在无监督条件下构建知识图谱的事实知识？
• RQ2 无监督的 Match-and-Map 流水线在将事实恢复到现有 KG 模式并扩展到开放模式方面表现如何？
• RQ3 开放模式事实的质量如何，实体链接和关系映射的主要错误来源是什么？

主要发现

方法	精确度%	召回率%	F1%
OpenIE 5.1	56.98	14.54	23.16
Stanford OpenIE (Angeli et al., 2015)	61.55	17.35	27.07
MaMa -BERT BASE (ours)	61.57	18.79	28.79
MaMa -BERT LARGE (ours)	61.69	18.99	29.05
MaMa -GPT-2 (ours)	61.62	18.17	28.07
MaMa -GPT-2 MEDIUM (ours)	62.10	18.65	28.69
MaMa -GPT-2 LARGE (ours)	62.38	19.00	29.12
MaMa -GPT-2 XL (ours)	62.69	19.47	29.72

• MaMa 在 TAC KBP 和 Wikidata 上的映射事实取得无监督情形下竞争力的精确度（>60%）。
• 在 TAC KBP 上，MaMa 的变体在 XL 模型下达到 F1 值高达 29.72，F1 分数比 Stanford OpenIE 高出超过 2.6 点。
• 在 Wikidata 上，MaMa-XL (GPT-2) 达到 22.39 的 F1，胜过 Stanford OpenIE (16.77)。
• 更大的模型（BERT-LARGE, GPT-2-XL）产生更高质量的知识图谱，表明更深/更大的语言模型中存储了更多知识。
• 开放模式中的未映射事实在 Wikidata 样本中为 35.3% 的真实性，其中 83.2% 的真实未映射事实是部分未映射；其余错误主要来自实体链接和缺失的关系映射。
• 主要错误来源包括 spaCy 名词短语为基础的实体检测（由于链接导致的错误占 9.1%）以及缺失的关系映射（4.5%），还有一些信息量不足的关系短语（开放IE类型错误）。