[论文解读] Vietnamese Named Entity Recognition using Token Regular Expressions and Bidirectional Inference

Phuong Le-Hong|arXiv (Cornell University)|Oct 18, 2016

Topic Modeling参考文献 2被引用 18

一句话总结

本文提出了一种用于越南语命名实体识别（NER）的混合方法，结合了基于多项式逻辑回归模型的词元级正则表达式与双向推理。通过使用正则表达式编码组织机构和地名中的结构模式，并利用前向与后向解码，该系统在VLSP 2016评估中实现了89.66%的F₁分数，显著提升了对越南语文本中复杂命名实体的识别能力。

ABSTRACT

This paper describes an efficient approach to improve the accuracy of a named entity recognition system for Vietnamese. The approach combines regular expressions over tokens and a bidirectional inference method in a sequence labelling model. The proposed method achieves an overall $F_1$ score of 89.66% on a test set of an evaluation campaign, organized in late 2016 by the Vietnamese Language and Speech Processing (VLSP) community.

研究动机与目标

• 提升越南语命名实体识别的准确性，越南语是一种资源较少、具有复杂词形句法结构的语言。
• 解决在越南语文本（尤其是新闻文本）中常见的长且多词命名实体（特别是组织机构和地名）识别的挑战。
• 通过词元级正则表达式引入语言学规律，提升序列标注性能。
• 探索双向解码在提升命名实体类型上下文推理方面的优势。
• 开发一个可扩展的、基于Apache Spark的开源越南语文本处理NER工具包。

提出的方法

• 使用多项式逻辑回归（最大熵模型）进行序列标注，并采用判别式特征学习。
• 引入词元级正则表达式以编码命名实体中的结构模式，如大写字母、连字符、数字和缩写。
• 开发一种标注算法，根据词元的表面形式及其上下文，为其分配正则表达式类型。
• 通过在相同数据上训练正向和反向模型（序列顺序相反）来应用双向推理策略。
• 使用投票或平均方案结合正向与反向模型的预测结果，以提高整体标注准确性。
• 采用L-BFGS优化与L₂正则化，以高效训练大规模越南语文本数据上的模型。

实验结果

研究问题

• RQ1 词元级正则表达式能否有效捕捉越南语命名实体中的结构模式，特别是组织机构和地名？
• RQ2 与单向模型相比，双向解码（即正向与反向处理序列）是否能提升NER性能？
• RQ3 正则表达式与双向推理如何协同作用，以提升越南语NER的整体F₁分数？
• RQ4 尽管架构相似，为何反向模型在识别地名方面优于正向模型？
• RQ5 正则表达式与双向解码在多大程度上降低了组织机构等低性能实体类型的错误率？

主要发现

• 所提出的系统在VLSP 2016测试集上实现了89.66%的整体F₁分数，优于单向模型。
• 反向模型在地名（LOC）上的F₁分数达到88.59%，高于正向模型的84.00%，表明反向处理在该实体类型上具有结构优势。
• 正向模型在组织机构名称（ORG）上的表现更优，F₁为63.48%，而反向模型下降至52.28%，表明正则表达式在原始序列顺序中更有效。
• 词元级正则表达式显著提升了性能：在正向模型中，移除正则表达式会使ORG的F₁从65.01%降至62.94%，LOC的F₁从83.07%降至82.19%。
• 结合正向与反向模型的系统通过融合双向优势，在ORG和LOC两类上均实现了最佳性能，整体F₁最高。
• 实验表明，通过词元级正则表达式编码的语言学规律在越南语NER中极为有效，尤其适用于具有可预测模式的多词实体。