[论文解读] DeepType: Multilingual Entity Linking by Neural Type System Evolution

Jonathan Raiman, Olivier Raiman|arXiv (Cornell University)|Feb 3, 2018

Topic Modeling被引用 72

一句话总结

DeepType 基于本体共同设计神经类型系统，并利用它来约束神经实体链接模型，实现近似人类水平的消歧准确性和跨语言迁移，无需对新实体重新训练。

ABSTRACT

The wealth of structured (e.g. Wikidata) and unstructured data about the world available today presents an incredible opportunity for tomorrow's Artificial Intelligence. So far, integration of these two different modalities is a difficult process, involving many decisions concerning how best to represent the information so that it will be captured or useful, and hand-labeling large amounts of data. DeepType overcomes this challenge by explicitly integrating symbolic information into the reasoning process of a neural network with a type system. First we construct a type system, and second, we use it to constrain the outputs of a neural network to respect the symbolic structure. We achieve this by reformulating the design problem into a mixed integer problem: create a type system and subsequently train a neural network with it. In this reformulation discrete variables select which parent-child relations from an ontology are types within the type system, while continuous variables control a classifier fit to the type system. The original problem cannot be solved exactly, so we propose a 2-step algorithm: 1) heuristic search or stochastic optimization over discrete variables that define a type system informed by an Oracle and a Learnability heuristic, 2) gradient descent to fit classifier parameters. We apply DeepType to the problem of Entity Linking on three standard datasets (i.e. WikiDisamb30, CoNLL (YAGO), TAC KBP 2010) and find that it outperforms all existing solutions by a wide margin, including approaches that rely on a human-designed type system or recent deep learning-based entity embeddings, while explicitly using symbolic information lets it integrate new entities without retraining.

研究动机与目标

• 通过自动设计的实体链接（EL）类型系统，将符号知识整合到神经推理中。
• 通过使用从本体派生的类型轴来约束输出，降低 EL 消歧的复杂度并提高准确性。
• 展示所学表示的多语言与跨语言迁移，并评估对命名实体识别（NER）迁移的影响。
• 在标准 EL 数据集（WikiDisamb30、CoNLL-YAGO、TAC KBP 2010）上比较机器设计的类型系统与人为设计的基线。
• 评估 DeepType 预训练是否有助于下游 NER 任务，以及双语训练是否提升多语言表现。

提出的方法

• 将类型系统设计重新表述为混合整数问题，其中离散变量选择本体派生的类型轴，连续变量拟合一个分类器以适应类型系统。
• 采用两步优化：(i) 使用 Oracle 与可学习性启发式进行类型系统的离散优化以估计可学习性与消歧能力；(ii) 使用梯度下降来训练类型分类器和实体预测器。
• 将类型轴定义为本体上的一个根-边对，并通过一个概率评分公式约束实体预测以符合类型成员资格。
• 计算目标函数 J(A)，将 Oracle 的消歧能力、可学习性以及对更大类型系统规模的惩罚结合起来以引导轴的选择。
• 在多语言文本上训练一个类型分类器（双向 LSTM），以预测标记的类型标签，从而实现跨语言监督。
• 在推断阶段，将基于类型的置信度与基础实体链接分数相结合以对候选实体进行排序，使用类型概率的软组合与 LinkCount 基线。

实验结果

研究问题

• RQ1 自动设计的神经类型系统是否能够提升实体链接效果，超过人类设计的类型系统？
• RQ2 机器发现的类型系统是否能在不同语言（英语、法语、德语、西班牙语）上对EL实现泛化？
• RQ3 将符号化的类型约束引入是否将消歧复杂度从 O(N^2) 降至 O(N)，并实现无需重新训练即可添加新实体？
• RQ4 DeepType 的类型信息表示是否可迁移到 NER 和其他下游任务？
• RQ5 在发现有效类型系统方面，不同的搜索方法（Beam、Greedy、GA、CEM）之间有何比较？

主要发现

• DeepType 在多语言设置下在 WikiDisamb30、CoNLL（YAGO）和 TAC KBP 2010 的实体链接任务中优于以往方法。
• 基于 Oracle 的消歧在 CoNLL（YAGO）达到 99.0%，在 TAC KBP 2010 达到 98.6%，表明通过改进类型预测可接近解决方案。
• 在 WikiDisamb30、CoNLL（YAGO）和 TAC KBP 2010 上，机器设计的类型系统在多种搜索方法下均优于人工设计系统。
• 使用英语–法语双语训练学习的类型系统推广到法语、德语和西班牙语时没有退化，且双语训练有益。
• 对 NER 的 DeepType 预训练带来 F1 提升，甚至在 OntoNotes 开发集达到最先进水平，显示跨领域迁移的好处。
• 该方法将 EL 的复杂度降至 O(N)，并实现无需重新训练即可整合新实体。