[论文解读] Domain Adaptation for Named Entity Recognition in Online Media with Word Embeddings

Vivek Kulkarni, Yashar Mehdad+1 more|arXiv (Cornell University)|Dec 1, 2016

Topic Modeling参考文献 23被引用 8

一句话总结

本文提出 DomainDist，一种学习领域特定词嵌入的方法，可捕捉金融与体育等领域的语言差异，从而实现命名实体识别（NER）的有效领域自适应。通过利用无监督的领域特定嵌入与主动学习，该方法在目标领域仅使用极少标注数据的情况下，实现了最先进（SOTA）的 F1 分数，在金融与体育 NER 任务上均优于先前基线模型。

ABSTRACT

Content on the Internet is heterogeneous and arises from various domains like News, Entertainment, Finance and Technology. Understanding such content requires identifying named entities (persons, places and organizations) as one of the key steps. Traditionally Named Entity Recognition (NER) systems have been built using available annotated datasets (like CoNLL, MUC) and demonstrate excellent performance. However, these models fail to generalize onto other domains like Sports and Finance where conventions and language use can differ significantly. Furthermore, several domains do not have large amounts of annotated labeled data for training robust Named Entity Recognition models. A key step towards this challenge is to adapt models learned on domains where large amounts of annotated training data are available to domains with scarce annotated data. In this paper, we propose methods to effectively adapt models learned on one domain onto other domains using distributed word representations. First we analyze the linguistic variation present across domains to identify key linguistic insights that can boost performance across domains. We propose methods to capture domain specific semantics of word usage in addition to global semantics. We then demonstrate how to effectively use such domain specific knowledge to learn NER models that outperform previous baselines in the domain adaptation setting.

研究动机与目标

• 解决因语言差异与标注数据不足导致的低资源领域（如体育与金融）NER 性能不佳的问题。
• 分析金融与体育等不同领域中词义与用法的差异，利用分布式词表示进行研究。
• 开发一种显式建模领域特定语言差异的方法，以提升领域自适应设置下的 NER 性能。
• 证明领域特定嵌入可在目标领域仅使用极少人工标注数据的情况下，显著提升 NER 性能。

提出的方法

• 提出 DomainDist，一种神经语言模型，可为每个领域学习独立的词嵌入，捕捉领域特定语义，同时保留全局语义结构。
• 利用 DomainDist 模型的输出层提取领域特定的词表示，支持领域消歧与语言差异分析。
• 提出 ActiveDomainDistNER，一种半监督 NER 框架，利用领域特定嵌入并主动选择最具信息量的句子进行人工标注。
• 采用两阶段训练流程：首先在大规模未标注文本上预训练领域特定嵌入，然后在目标领域的小规模标注样本上微调 NER 模型。
• 通过建模词义在不同领域中的分布，量化词义使用上的语义差异，显式捕捉意义转变（例如，'Goldman' 在体育中为人物，在金融中为机构）。
• 应用结构对应学习原理，将领域特定嵌入与共享语义空间对齐，提升跨领域的泛化能力。

实验结果

研究问题

• RQ1 不同领域（如金融与体育）中的词用法与语义有何差异？这些差异能否被定量建模？
• RQ2 领域特定词嵌入是否能提升低资源领域中有限标注数据下的命名实体识别性能？
• RQ3 无监督领域特定嵌入在多大程度上可减少 NER 任务中大规模人工标注的需求？
• RQ4 基于领域特定嵌入的主动学习与随机采样相比，在新领域 NER 中最小化标注工作量方面表现如何？

主要发现

• 所提出的 ActiveDomainDistNER 方法在金融领域使用仅 1,500 条人工标注句子时，F1 得分为 69.79；在体育领域为 86.78。
• 领域特定嵌入在金融与体育 NER 任务中显著优于通用词嵌入与先前的领域自适应基线模型。
• 即使仅使用 500 条标注句子，模型在金融领域仍达到 67.68 的 F1，在体育领域为 83.94，展现出强大的数据效率。
• 该方法能捕捉有意义的语言差异，例如 'Goldman' 在体育中作为人物、在金融中作为机构的双重用法，如嵌入空间的二维投影所示。
• 随着更多主动选择的训练样本加入，模型性能稳步提升，表明其具有极高的样本效率。
• 在所有测试的数据比例下，该方法均优于竞争性基线，证实了领域特定语义建模在 NER 中的有效性。