[论文解读] Automatic Synonym Discovery with Knowledge Bases

Meng Qu, Xiang Ren+1 more|arXiv (Cornell University)|Jun 25, 2017

Topic Modeling参考文献 30被引用 13

一句话总结

本文提出DPE，一种新颖的自动同义词发现框架，通过联合利用语料统计中的分布特征与局部文本模式，并以知识库实体作为消歧查询，实现同义词发现。通过整合经过整理的知识库同义词提供的远程监督，DPE显著提升了同义词检测的准确性，优于仅依赖单一信号类型的方法。

ABSTRACT

Recognizing entity synonyms from text has become a crucial task in many entity-leveraging applications. However, discovering entity synonyms from domain-specific text corpora (e.g., news articles, scientific papers) is rather challenging. Current systems take an entity name string as input to find out other names that are synonymous, ignoring the fact that often times a name string can refer to multiple entities (e.g., "apple" could refer to both Apple Inc and the fruit apple). Moreover, most existing methods require training data manually created by domain experts to construct supervised-learning systems. In this paper, we study the problem of automatic synonym discovery with knowledge bases, that is, identifying synonyms for knowledge base entities in a given domain-specific corpus. The manually-curated synonyms for each entity stored in a knowledge base not only form a set of name strings to disambiguate the meaning for each other, but also can serve as "distant" supervision to help determine important features for the task. We propose a novel framework, called DPE, to integrate two kinds of mutually-complementing signals for synonym discovery, i.e., distributional features based on corpus-level statistics and textual patterns based on local contexts. In particular, DPE jointly optimizes the two kinds of signals in conjunction with distant supervision, so that they can mutually enhance each other in the training stage. At the inference stage, both signals will be utilized to discover synonyms for the given entities. Experimental results prove the effectiveness of the proposed framework.

研究动机与目标

• 解决在领域特定文本语料中发现知识库实体缺失同义词的挑战。
• 克服现有方法依赖人工整理训练数据或在同义词检测中受字符串歧义影响的局限性。
• 利用知识库实体作为消歧查询，避免同一表面形式存在多种含义时的混淆。
• 通过联合优化，整合分布特征与局部文本模式，以提升同义词发现性能。
• 利用知识库同义词提供的有限远程监督，实现仅需极少人工标注数据的模型有效训练。

提出的方法

• 使用知识库实体作为查询实体，以消解表面形式的歧义（例如，'Washington' 作为人名或州名）。
• 基于领域语料中候选字符串的共现统计，提取分布特征。
• 学习一个模式分类器，以识别表达同义关系的局部文本模式（例如，'也被称为'，'通常被称为'）。
• 通过知识库同义词提供的远程监督，联合优化分布特征与基于模式的信号。
• 利用知识库中已知同义词之间的投票机制，过滤假阳性结果，提升可靠性。
• 训练一个统一的嵌入模型，整合分布特征与基于模式的信号，以改善同义词预测的语义表示。

实验结果

研究问题

• RQ1 知识库提供的远程监督能否有效降低具有多重含义的实体名称在同义词发现中的歧义？
• RQ2 分布特征与局部文本模式在识别实体同义词方面如何相互补充？
• RQ3 与孤立方法相比，联合优化分布特征与基于模式的信号在多大程度上提升了同义词发现性能？
• RQ4 所提出的框架在标注数据有限的多样化领域语料中是否具备良好的泛化能力？
• RQ5 在同义词发现过程中，已知同义词之间的投票机制在过滤假阳性结果方面有多有效？

主要发现

• DPE框架显著优于仅使用分布特征或仅使用基于模式特征的基线方法。
• 通过联合优化整合两种信号，F1值得到可测量的提升，DPE在精确率与召回率上均优于不包含模式信息的DPE-NoP模型。
• 模式分类器成功学习到具有意义且高精度的模式，如'也被称为'和'通常被称为'，这些模式在上下文中表达同义关系。
• 利用知识库同义词作为远程监督，即使在训练数据有限的情况下也能实现有效学习，从而减少对人工标注种子数据的依赖。
• 已知同义词之间的投票机制能有效过滤假阳性结果，例如RMB和WW I等实体在无模式过滤时被错误识别为同义词。
• DPE学习到的嵌入在语义相关性保留方面优于标准文本嵌入，这是由于同时受到分布特征与模式信号的监督。