[论文解读] Neural Cross-Lingual Named Entity Recognition with Minimal Resources

Jiateng Xie, Zhilin Yang+3 more|arXiv (Cornell University)|Aug 29, 2018

Topic Modeling参考文献 47被引用 12

一句话总结

本文提出了一种跨语言命名实体识别方法，利用双语词嵌入将词汇项映射到不同语言，并通过自注意力机制处理词序差异，在西班牙语、荷兰语和德语等低资源语言上实现了最先进或具有竞争力的性能，且仅需极少资源，包括目标语言中零标注数据。该方法结合基于嵌入的翻译与字符级特征，即使在乌兹别克语等低资源语言上也能实现有效的无监督迁移。

ABSTRACT

For languages with no annotated resources, unsupervised transfer of natural language processing models such as named-entity recognition (NER) from resource-rich languages would be an appealing capability. However, differences in words and word order across languages make it a challenging problem. To improve mapping of lexical items across languages, we propose a method that finds translations based on bilingual word embeddings. To improve robustness to word order differences, we propose to use self-attention, which allows for a degree of flexibility with respect to word order. We demonstrate that these methods achieve state-of-the-art or competitive NER performance on commonly tested languages under a cross-lingual setting, with much lower resource requirements than past approaches. We also evaluate the challenges of applying these methods to Uyghur, a low-resource language.

研究动机与目标

• 解决在无任何标注训练数据的目标语言中进行命名实体识别的挑战。
• 通过双语词嵌入和最近邻翻译改进源语言与目标语言之间的词汇映射。
• 通过一种与顺序无关的自注意力机制缓解不同语言间的词序差异。
• 在无监督跨语言迁移设置下，实现高命名实体识别性能，且对外部资源需求极少。
• 在乌兹别克语等低资源语言上评估该方法，这些语言缺乏平行语料库和词典。

提出的方法

• 使用少量种子词典，将源语言和目标语言的单语词嵌入投影到共享的双语词嵌入（BWE）空间中。
• 通过在共享BWE空间中寻找最近邻实现词翻译，从而在无需完整平行语料库的情况下实现离散翻译。
• 在翻译后的目标语言数据上训练神经命名实体识别模型，保留字符级特征以提高标注准确率。
• 将自注意力机制引入神经架构中，允许灵活重排输入标记，降低对词序差异的敏感性。
• 采用联合训练目标，利用共享嵌入空间和注意力机制，提升跨语言的泛化能力。
• 在无监督设置下应用该方法，无需目标语言中的任何标注数据。

实验结果

研究问题

• RQ1 能否在目标语言中完全无标注数据的情况下构建低资源跨语言命名实体识别系统？
• RQ2 结合基于嵌入的翻译与离散最近邻词映射的混合方法在词汇对齐方面有多有效？
• RQ3 自注意力机制在多大程度上能缓解跨语言命名实体识别中词序差异的影响？
• RQ4 该方法在乌兹别克语等极端低资源语言上的表现如何，尽管翻译质量和词嵌入质量有限？
• RQ5 与先前方法相比，该方法是否能在显著减少资源需求的前提下实现最先进性能？

主要发现

• 该方法在无监督迁移设置下于西班牙语和荷兰语的跨语言命名实体识别任务中实现了最先进性能，优于先前方法。
• 该模型在德语上也取得了具有竞争力的结果，证明了其在极低资源条件下对多种语言的鲁棒性。
• 尽管缺乏跨语言资源且词嵌入质量较差，该方法在乌兹别克语（一种低资源语言）上仍表现良好。
• 基于BWE的翻译与自注意力机制的结合优于单独使用任一组件，尤其在低资源设置下优势更明显。
• 对抗性训练和相同字符字符串方法在乌兹别克语上均失败，F1分数约为10，原因在于嵌入质量差和字符集不兼容。
• 该方法减少了对大规模平行语料库或类似维基百科资源的依赖，使其适用于真正低资源语言。