[论文解读] Modeling Named Entity Embedding Distribution into Hypersphere

Zhuosheng Zhang, Bingjie Tang+2 more|arXiv (Cornell University)|Sep 3, 2019

Topic Modeling参考文献 28被引用 4

一句话总结

本文提出了一种新颖的命名实体（NE）开放定义，将命名实体视为预训练词嵌入空间中一个超球体内的点聚合，利用几何结构实现跨语言命名实体迁移并提升上下文相关的命名实体识别（NER）性能。通过使用Wasserstein生成对抗网络（WGAN）学习嵌入空间之间的变换矩阵，该方法在无需额外标注数据或命名实体词典的情况下，实现了最先进的NER性能。

ABSTRACT

This work models named entity distribution from a way of visualizing topological structure of embedding space, so that we make an assumption that most, if not all, named entities (NEs) for a language tend to aggregate together to be accommodated by a specific hypersphere in embedding space. Thus we present a novel open definition for NE which alleviates the obvious drawback in previous closed NE definition with a limited NE dictionary. Then, we show two applications with introducing the proposed named entity hypersphere model. First, using a generative adversarial neural network to learn a transformation matrix of two embedding spaces, which results in a convenient determination of named entity distribution in the target language, indicating the potential of fast named entity discovery only using isomorphic relation between embedding spaces. Second, the named entity hypersphere model is directly integrated with various named entity recognition models over sentences to achieve state-of-the-art results. Only assuming that embeddings are available, we show a prior knowledge free approach on effective named entity distribution depiction.

研究动机与目标

• 解决封闭式、基于词典的命名实体定义因新实体不断涌现而过时的局限性。
• 将命名实体分布建模为多语言嵌入空间中的几何结构，特别是超球体，以实现开放词汇量的命名实体识别。
• 通过嵌入空间之间的同构关系，实现在无需平行语料或标注数据的情况下的跨语言命名实体映射。
• 通过整合通用命名实体超球体作为知识引导信号，提升上下文相关的NER性能。

提出的方法

• 在多语言词嵌入中可视化命名实体分布，观察到同类型命名实体在嵌入空间中聚类成超球形区域。
• 提出一种超球体模型作为命名实体分布的几何表示，将某一语言的命名实体集合视为嵌入空间中的一个超球体。
• 使用Wasserstein生成对抗网络（WGAN）学习两种语言嵌入空间之间的变换矩阵，实现在语言之间对命名实体超球体的映射。
• 通过添加超球体引导的损失函数或注意力机制，将命名实体超球体作为先验知识信号整合到现有NER模型中。
• 利用源语言和目标语言嵌入空间之间的同构关系训练变换矩阵，避免对平行语料的依赖。
• 将超球体模型应用于零样本跨语言命名实体迁移和上下文感知NER，仅使用预训练嵌入，无需额外标注数据。

实验结果

研究问题

• RQ1 能否在预训练词嵌入空间中有效将一种语言中的命名实体建模为超球形分布？
• RQ2 能否仅通过嵌入空间对齐，将一种语言中命名实体的几何结构转移到另一种语言？
• RQ3 将基于超球体的命名实体先验整合到模型中，是否能提升上下文相关NER模型的性能？
• RQ4 该方法能否在不依赖标注训练数据或命名实体词典的情况下实现最先进的NER性能？

主要发现

• 本文通过实证证明，多种语言中同类型命名实体（如人名、地名、组织名）在预训练词嵌入空间中形成清晰且紧凑的超球形聚类。
• 所提出的基于WGAN的变换矩阵能够准确实现跨语言命名实体超球体的映射，无需平行语料即可实现有效的跨语言命名实体发现。
• 将命名实体超球体作为引导信号整合后，显著提升了多个NER模型的性能，在MSRA中文NER数据集上相较BiLSTM-CRF基线模型F1分数提升1.05%。
• 该方法在英语和中文NER基准上均实现了最先进的性能，优于先前模型，且无需额外标注数据或手工设计特征。
• 超球体模型作为一种无需先验知识、通用的命名实体词典，能有效提升多种语言和模型上的NER性能。