[论文解读] Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yor\\`ub\\'a

David Ifeoluwa Adelani, Michael A. Hedderich+3 more|arXiv (Cornell University)|Mar 18, 2020

Topic Modeling被引用 4

一句话总结

本文研究了在豪萨语和约鲁巴语这两种非洲语言（低资源环境下）命名实体识别（NER）中的远程监督与噪声处理技术。结果表明，结合来自Wikidata的远程监督标签与外部姓名列表，并辅以噪声清洗方法，可使模型性能提升两倍以上，甚至超过仅使用干净数据训练的模型；同时发现，尽管上下文Bert模型性能更优，但在低资源环境下对噪声标签极为敏感。

ABSTRACT

The lack of labeled training data has limited the development of natural language processing tools, such as named entity recognition, for many languages spoken in developing countries. Techniques such as distant and weak supervision can be used to create labeled data in a (semi-) automatic way. Additionally, to alleviate some of the negative effects of the errors in automatic annotation, noise-handling methods can be integrated. Pretrained word embeddings are another key component of most neural named entity classifiers. With the advent of more complex contextual word embeddings, an interesting trade-off between model size and performance arises. While these techniques have been shown to work well in high-resource settings, we want to study how they perform in low-resource scenarios. In this work, we perform named entity recognition for Hausa and Yor\\`ub\\'a, two languages that are widely spoken in several developing countries. We evaluate different embedding approaches and show that distant supervision can be successfully leveraged in a realistic low-resource scenario where it can more than double a classifier's performance.

研究动机与目标

• 评估在豪萨语和约鲁巴语低资源NER中，远程监督与噪声处理方法的有效性。
• 探究在低资源环境下，使用简单词嵌入与上下文词嵌入时，模型规模与性能之间的权衡。
• 评估在缺乏标准训练数据的情况下，远程监督数据是否能提升NER性能。
• 考察自动生成标签中的噪声对模型泛化能力与性能的影响。

提出的方法

• 利用Wikidata实体列表以及人工整理的约鲁巴语和尼日利亚姓名列表，对训练数据进行自动标注，实施远程监督。
• 噪声处理技术包括噪声通道模型与混淆矩阵架构，以减轻远程监督中错误标签的影响。
• 基于Bi-LSTM与BERT架构的神经NER模型，使用标准数据与远程监督数据的混合数据进行训练。
• 对比简单（如FastText）与上下文（如BERT）词嵌入方法，评估其对模型性能的影响。
• 通过在豪萨语与约鲁巴语测试集上的F1分数评估性能，并开展数据量与噪声处理的消融研究。
• 在不同数量的干净数据（1k、2k、5k、17k个token）下进行实验，以评估在真实低资源条件下的性能表现。

实验结果

研究问题

• RQ1 在豪萨语和约鲁巴语的低资源环境下，远程监督能否有效提升NER性能？
• RQ2 不同噪声处理方法如何减轻远程监督标签中错误带来的负面影响？
• RQ3 在低资源NER中，使用简单词嵌入与上下文词嵌入时，模型规模与性能之间的权衡如何？
• RQ4 即使模型仅在有限的标准数据上进行训练，整合远程监督数据是否仍能提升性能？
• RQ5 尽管Bert模型对标签噪声高度敏感，其是否仍能从远程监督数据中获益？

主要发现

• 对于豪萨语，使用50%的远程监督数据并配合噪声清洗，可使F1分数与完整标准数据之间的差距缩小一半，证明了噪声处理的有效性。
• 对于约鲁巴语，采用噪声清洗的远程监督数据使F1分数从48%（未清洗）提升至66%（在5k个标注样本下训练），接近于使用17k个标准数据token训练的模型性能。
• 在低资源设置下（1k与2k个标注样本），远程监督数据使Bi-LSTM模型的F1分数提升超过一倍，显示出极强的数据效率。
• Bert模型性能优于Bi-LSTM，但在仅使用1k个标注样本训练时，F1分数出现显著下降（接近50%的降幅），表明其对噪声标签存在过拟合现象。
• 通过混淆矩阵架构进行噪声清洗，优于噪声通道方法，尤其是在低数据场景下，表明模型架构设计对噪声鲁棒性具有重要影响。
• 在Wikidata基础上增加尼日利亚姓名列表，使约鲁巴语的召回率提升13个百分点，凸显了在低资源环境下使用领域特定姓名集合的价值。