[论文解读] Learning Cross-Context Entity Representations from Text

Jeffrey Ling, Nicholas FitzGerald+5 more|arXiv (Cornell University)|Jan 11, 2020

Topic Modeling参考文献 47被引用 22

一句话总结

该论文提出RELIC方法，通过训练神经模型在掩码文本上下文中预测实体，学习与上下文无关的实体表征，无需依赖外部知识库或任务特定特征，在实体分类、实体链接和常识问答任务上均取得当前最先进性能。

ABSTRACT

Language modeling tasks, in which words, or word-pieces, are predicted on the basis of a local context, have been very effective for learning word embeddings and context dependent representations of phrases. Motivated by the observation that efforts to code world knowledge into machine readable knowledge bases or human readable encyclopedias tend to be entity-centric, we investigate the use of a fill-in-the-blank task to learn context independent representations of entities from the text contexts in which those entities were mentioned. We show that large scale training of neural models allows us to learn high quality entity representations, and we demonstrate successful results on four domains: (1) existing entity-level typing benchmarks, including a 64% error reduction over previous work on TypeNet (Murty et al., 2018); (2) a novel few-shot category reconstruction task; (3) existing entity linking benchmarks, where we match the state-of-the-art on CoNLL-Aida without linking-specific features and obtain a score of 89.8% on TAC-KBP 2010 without using any alias table, external knowledge base or in domain training data and (4) answering trivia questions, which uniquely identify entities. Our global entity representations encode fine-grained type categories, such as Scottish footballers, and can answer trivia questions such as: Who was the last inmate of Spandau jail in Berlin?

研究动机与目标

• 通过聚合实体出现的文本上下文，学习通用的、与上下文无关的实体表征。
• 探究通过完形填空任务训练的实体表征是否能编码细粒度的世界知识，如实体类型和属性。
• 评估这些表征在多样化实体中心NLP任务中的实用性，包括分类、链接和问答。
• 证明高质量的实体表征可完全从大规模文本中学习，无需依赖人工构建的知识库或外部特征。
• 探索仅使用少量样本进行类别重建，以及在零样本条件下通过学习的嵌入进行常识问答。

提出的方法

• 使用完形填空目标训练神经模型，从固定词汇表中预测被掩码的实体，其中实体在文本中被遮蔽。
• 为实体使用共享的可学习嵌入矩阵，上下文表征由基于BERT的编码器对上下文文本进行编码得到。
• 通过最小化预测实体嵌入与真实实体嵌入之间的交叉熵损失，使上下文表征与实体表征对齐。
• 将实体表征存储在查找表（RELIC嵌入矩阵）中，作为下游检索任务的知识存储。
• 通过嵌入空间中的最近邻搜索执行推理，以检索与给定上下文或问题最匹配的实体。
• 在实体预测任务上微调BERT编码器，推理时保持实体嵌入矩阵固定。

实验结果

研究问题

• RQ1 在实体被掩码的文本上进行完形填空任务，能否学习到高质量的、与上下文无关的实体表征，从而编码丰富的世界知识？
• RQ2 RELIC表征在无显式监督的情况下，能在多大程度上捕捉细粒度的实体类型，如“苏格兰足球运动员”或“首位进入太空的女性”？
• RQ3 RELIC是否能在不使用别名表、外部知识库或任务特定特征的情况下，实现实体链接的最先进性能？
• RQ4 当仅提供少量样本时，RELIC嵌入在少样本类别重建任务中的有效性如何？
• RQ5 RELIC能否通过嵌入空间中的最近邻搜索，在无证据文档访问的情况下回答复杂的常识问答题？

主要发现

• 在TypeNet基准的低数据设置下，RELIC在实体分类任务上相比之前工作实现了64%的错误率降低，表现出强劲性能。
• 在CoNLL-Aida实体链接基准上，RELIC在不使用任何链接特定特征或外部知识库的情况下，达到了94.9%的最先进准确率。
• 在TAC-KBP 2010数据集上，RELIC在不使用别名表、外部知识库或领域内训练数据的情况下，实现了89.8%的实体链接准确率。
• RELIC通过最近邻检索正确回答了51%的TriviaQA问题，包括复杂问题如“柏林桑布尔监狱最后一名囚犯是谁？”
• 该方法在少样本类别重建任务中表现优异，仅使用三个样本示例，即正确识别出“苏格兰足球运动员”类别中67.10%的前5名预测结果。
• 与基于提及表面形式的训练相比，通过上下文匹配训练实体编码器，能为实体分类和问答任务生成更优的表征。