[论文解读] CRF-based Named Entity Recognition @ICON 2013

Arjun Das, Utpal Garain|arXiv (Cornell University)|Sep 29, 2014

Topic Modeling参考文献 5被引用 5

一句话总结

该论文提出了一种基于CRF的印度语言命名实体识别系统，采用语言无关特征及来自维基百科的名录资料，针对孟加拉语、印地语和英语进行实验。英语的F1得分为88%，孟加拉语为87%，而泰米尔语和泰卢固语因缺乏名录资料导致性能较低（69%），表明在低资源环境下，语言特定资源对命名实体识别性能具有显著影响。

ABSTRACT

This paper describes performance of CRF based systems for Named Entity Recognition (NER) in Indian language as a part of ICON 2013 shared task. In this task we have considered a set of language independent features for all the languages. Only for English a language specific feature, i.e. capitalization, has been added. Next the use of gazetteer is explored for Bengali, Hindi and English. The gazetteers are built from Wikipedia and other sources. Test results show that the system achieves the highest F measure of 88% for English and the lowest F measure of 69% for both Tamil and Telugu. Note that for the least performing two languages no gazetteer was used. NER in Bengali and Hindi finds accuracy (F measure) of 87% and 79%, respectively.

研究动机与目标

• 开发一种基于条件随机场的稳健、跨语言命名实体识别系统，用于印度语言。
• 评估语言无关特征在资源可用性差异较大的多种印度语言中的有效性。
• 研究从维基百科及其他来源构建的名录资料对低资源印度语言命名实体识别性能的影响。
• 比较系统在多种印度语言（包括英语、孟加拉语、印地语、泰米尔语和泰卢固语）上的性能表现。
• 识别在低资源环境下性能的瓶颈，特别是德拉维迪语系语言（如泰米尔语和泰卢固语）中的问题。

提出的方法

• 采用基于CRF的序列标注模型，为文本中的词元预测命名实体标签（如人名、地名）。
• 在所有语言中统一使用语言无关特征，如词形、词尾及上下文窗口。
• 对于英语，增加语言特定特征——首字母大写，以提升专有名词的识别效果。
• 从维基百科及其他来源构建名录资料，以包含已知实体（如人名、地名）。
• 系统使用特征模板为每个词元编码局部上下文和词汇模式。
• 使用CRF++或类似CRF工具包进行模型训练与推理，并通过网格搜索进行超参数调优。

实验结果

研究问题

• RQ1 当在多种印度语言中仅使用语言无关特征时，基于CRF的命名实体识别系统效果如何？
• RQ2 从维基百科引入名录资料在多大程度上提升了印度语言的命名实体识别性能？
• RQ3 为何在缺乏名录资料的情况下，泰米尔语和泰卢固语的性能显著低于印地语和孟加拉语？
• RQ4 将首字母大写作为语言特定特征加入后，对英语命名实体识别性能有何影响？
• RQ5 语言多样性与资源可用性对低资源印度语言中基于CRF的命名实体识别的相对影响是什么？

主要发现

• 系统在英语上取得了最高的F1得分88%，表明语言特定特征可实现优异性能。
• 孟加拉语的F1得分为87%，表明CRF模型在使用名录资料时具有高度有效性。
• 印地语的F1得分为79%，尽管使用了名录资料，但表现仅为中等水平。
• 泰米尔语和泰卢固语的F1得分均为69%，为所有语言中最低，原因在于缺乏名录资料。
• 不同语言之间的性能差距凸显了名录资料在提升低资源印度语言命名实体识别性能中的关键作用。
• 结果证实，仅靠语言无关特征不足以在低资源环境下实现最佳性能。