[论文解读] Enhanced Meta-Learning for Cross-lingual Named Entity Recognition with Minimal Resources

Qianhui Wu, Zijia Lin+5 more|arXiv (Cornell University)|Nov 14, 2019

Topic Modeling参考文献 36被引用 7

一句话总结

该论文提出了一种增强的元学习框架，用于在目标语言无标注数据的低资源设置下进行跨语言命名实体识别（NER）。通过为每个测试实例检索少量语义和结构上相似的源语言示例，并在这些示例上微调元学习得到的模型，该方法在五种语言上实现了最先进性能，相比基线模型F1分数相对提升高达8.76%。

ABSTRACT

For languages with no annotated resources, transferring knowledge from rich-resource languages is an effective solution for named entity recognition (NER). While all existing methods directly transfer from source-learned model to a target language, in this paper, we propose to fine-tune the learned model with a few similar examples given a test case, which could benefit the prediction by leveraging the structural and semantic information conveyed in such similar examples. To this end, we present a meta-learning algorithm to find a good model parameter initialization that could fast adapt to the given test case and propose to construct multiple pseudo-NER tasks for meta-training by computing sentence similarities. To further improve the model's generalization ability across different languages, we introduce a masking scheme and augment the loss function with an additional maximum term during meta-training. We conduct extensive experiments on cross-lingual named entity recognition with minimal resources over five target languages. The results show that our approach significantly outperforms existing state-of-the-art methods across the board.

研究动机与目标

• 解决在目标语言无任何标注数据的极端低资源设置下进行跨语言NER的挑战。
• 克服直接迁移方法的局限性，即在未对目标语言示例进行适应的情况下直接应用在源语言上训练的模型。
• 通过整合来自相似源语言示例的结构和语义信息，提升模型在多种语言间的泛化能力。
• 通过元学习实现仅使用少量检索到的相似示例，快速适应新的目标语言测试实例。
• 开发一种元学习框架，学习一个强初始化，以实现对极少量特定任务数据的快速微调。

提出的方法

• 通过计算源语言示例之间的句子相似度，识别结构和语义上相似的句子对，构建伪NER任务用于元训练。
• 使用多语言BERT对句子进行编码，并计算余弦相似度，为每个目标语言测试实例检索相关的源语言示例。
• 应用模型无关元学习（MAML）以学习一个模型初始化，使其能够在仅用一到几个梯度步骤的情况下，对少量检索到的示例实现快速适应。
• 在元训练过程中引入一种掩码机制，以提升模型在不同语言间的鲁棒性和泛化能力。
• 在元损失函数中引入最大项，以增强模型聚焦于最相关示例的能力，减少来自遥远示例的噪声影响。
• 在每个目标语言测试实例的推理前，对检索到的相似示例微调元学习得到的模型，实现上下文感知的自适应。

实验结果

研究问题

• RQ1 从高资源源语言中检索少量语义和结构上相似的示例，是否能提升零样本跨语言NER的性能？
• RQ2 通过句子相似度构建的伪NER任务进行元学习，是否能实现对低资源目标语言的更快、更有效的适应？
• RQ3 所提出的掩码机制和修改后的损失函数如何提升少样本适应中的跨语言泛化能力？
• RQ4 在极低资源和低资源的跨语言NER设置下，该方法相比现有最先进方法的性能提升程度如何？
• RQ5 在没有任何标注数据的情况下，模型是否能泛化到低资源语言中未见过的实体和复杂语言结构？

主要发现

• 在极低资源设置下，该方法在五种目标语言上的F1分数相比基线模型最高提升8.76%的相对幅度。
• 在低资源设置下，当使用1%、2%和5%的标注数据时，该方法在所有目标语言上的平均F1分数相比基线模型提升1.47分。
• 模型正确识别出'Secretaría General'为ORG，'Edmond Thieffrylaan'为LOC，而基线模型因源数据中的误导性模式而失败。
• 该方法能很好地泛化到未见过的实体，如'Krauses'和'奥纳西斯'，并基于上下文线索进行正确分类，而非依赖表面模式。
• 消融实验表明，若移除掩码机制或损失函数中的最大项，性能会下降，证实了这两个组件的有效性。
• 该方法在所有目标语言和数据比例下均持续优于强基线模型（包括CL、ML和MLMT），展现出卓越的鲁棒性和泛化能力。