[论文解读] A Feature-Based Model for Nested Named-Entity Recognition at VLSP-2018 NER Evaluation Campaign

Phạm Quang Minh|arXiv (Cornell University)|Mar 22, 2018

Topic Modeling参考文献 8被引用 6

一句话总结

本文提出了一种基于特征的条件随机场（CRF）模型，用于越南语嵌套命名实体识别，结合了词、形状、Brown聚类和词嵌入特征。主要贡献在于证明通过联合标签（joint-tag model）联合建模所有实体层级可显著提升识别准确率，相较于独立模型，该方法在VLSP 2018测试集上实现了73.48的F1分数。

ABSTRACT

In this report, we describe our participant named-entity recognition system at VLSP 2018 evaluation campaign. We formalized the task as a sequence labeling problem using BIO encoding scheme. We applied a feature-based model which combines word, word-shape features, Brown-cluster-based features, and word-embedding-based features. We compare several methods to deal with nested entities in the dataset. We showed that combining tags of entities at all levels for training a sequence labeling model (joint-tag model) improved the accuracy of nested named-entity recognition.

研究动机与目标

• 为解决越南语文本中嵌套命名实体的问题，即实体可在多个层级上包含其他实体。
• 评估不同建模策略（按层级分别建模 vs. 联合建模）对嵌套NER性能的影响。
• 通过整合词形、形状、Brown聚类和词嵌入等多种特征，提升识别准确率。
• 评估预处理选择（如句子分割）对模型性能的影响。
• 通过结构化、特征丰富的CRF方法，为越南语嵌套NER提供一个稳健的基线。

提出的方法

• 将NER任务形式化为使用BIO标注方案的序列标注问题，通过组合所有层级的实体标签生成联合标签（例如，B-PER+I-ORG）。
• 在以当前词为中心的5个词窗口内，使用一元和二元特征训练CRF模型。
• 词形特征包括表面形式、小写形式以及长度为1–4的前缀/后缀。
• 词形特征用于提升对罕见或未知词的泛化能力，基于标准的基于模式的方案。
• 应用Brown聚类将语义相似的词分组，并使用位字符串表示作为特征。
• 整合词嵌入和预训练的词聚类，以增强对OOV（未登录词）和罕见词的表征学习能力。

实验结果

研究问题

• RQ1 与为每个层级分别训练模型相比，使用组合BIO标签联合建模多个嵌套实体层级是否能提升NER性能？
• RQ2 在越南语嵌套NER中，不同类型的特征（词形、形状、Brown聚类、词嵌入）对识别准确率的贡献如何？
• RQ3 句子分割对嵌套NER设置下模型性能有何影响？
• RQ4 结合联合模型与独立模型的混合方法是否能超越纯联合或纯独立建模方法？
• RQ5 在嵌套NER设置下，各类实体（PER、LOC、ORG、MISC）的识别性能有何差异？

主要发现

• 联合标签模型在官方测试集上取得了最高的F1分数73.48，优于独立模型和混合模型。
• 尽管精确率略有下降，联合模型在第二层级实体上的召回率优于独立模型，表明其对嵌套结构的覆盖能力更强。
• 表现最佳的运行（Run-6）在未进行句子分割的情况下，使用独立模型实现了76.63%的层级1 F1，但联合模型在整体上仍表现更优。
• 联合模型在层级2上实现了58.12%的F1（Run-3），是所有提交运行中该层级的最高值。
• 使用与不使用句子分割的模型之间性能差异极小，表明序列长度对该模型的鲁棒性影响甚微。
• 模型在测试集上的总体F1为73.48，PER（F1=79.49）和LOC（F1=79.45）表现优异，但ORG（F1=63.33）和MISC（F1=33.64）表现较差。