[论文解读] Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá

David Ifeoluwa Adelani, Michael A. Hedderich+3 more|arXiv (Cornell University)|Mar 18, 2020

Topic Modeling参考文献 39被引用 4

一句话总结

本文研究了在豪萨语和约鲁巴语这两种非洲语言中，针对低资源命名实体识别（NER）的远程监督与噪声处理技术。通过结合来自维基数据的远程监督标签和外部姓名列表，并辅以噪声校正方法，作者表明在低资源设置下模型性能可提升两倍以上，其中Bi-LSTM模型在仅使用1000个标注词元的情况下，结合远程监督与噪声处理，可在约鲁巴语上达到最高66的F1分数。

ABSTRACT

The lack of labeled training data has limited the development of natural language processing tools, such as named entity recognition, for many languages spoken in developing countries. Techniques such as distant and weak supervision can be used to create labeled data in a (semi-) automatic way. Additionally, to alleviate some of the negative effects of the errors in automatic annotation, noise-handling methods can be integrated. Pretrained word embeddings are another key component of most neural named entity classifiers. With the advent of more complex contextual word embeddings, an interesting trade-off between model size and performance arises. While these techniques have been shown to work well in high-resource settings, we want to study how they perform in low-resource scenarios. In this work, we perform named entity recognition for Hausa and Yorùbá, two languages that are widely spoken in several developing countries. We evaluate different embedding approaches and show that distant supervision can be successfully leveraged in a realistic low-resource scenario where it can more than double a classifier's performance.

研究动机与目标

• 评估远程监督与噪声处理方法在豪萨语和约鲁巴语等低资源非洲语言NER中的有效性。
• 研究在低资源设置下，使用简单词嵌入（如Bi-LSTM）与上下文词嵌入（如BERT）时，模型规模与性能之间的权衡。
• 评估当标准标注数据稀缺时，远程监督数据是否能显著提升模型性能。
• 考察整合外部知识源（如维基数据、约鲁巴语与尼日利亚姓名列表）对NER性能的影响。

提出的方法

• 通过文本与维基数据之间的实体匹配，以及针对约鲁巴语和尼日利亚姓名的规则化匹配，应用远程监督。
• 应用噪声处理技术以减轻远程监督标签中的错误，包括噪声通道和混淆矩阵架构。
• 比较两种模型架构：使用简单词嵌入的Bi-LSTM与使用上下文嵌入的BERT模型。
• 通过在不同数量的标准标注数据（1000、2000、5000和17000个词元）下评估性能，以衡量低资源可扩展性。
• 利用维基数据和领域特定姓名列表等外部知识源生成弱标注训练数据。
• 使用标准NER指标（精确率、召回率和F1分数）在豪萨语和约鲁巴语的测试集上评估性能。

实验结果

研究问题

• RQ1 在豪萨语和约鲁巴语的低资源设置下，远程监督能否有效提升NER性能？
• RQ2 不同的噪声处理方法（如噪声通道、混淆矩阵）如何减轻远程监督标签中错误的影响？
• RQ3 在低资源NER中，使用简单Bi-LSTM模型与大型上下文BERT模型时，模型规模与性能之间的权衡如何？
• RQ4 维基数据和手工整理的姓名列表等外部知识源在多大程度上提升了远程监督数据的覆盖范围与质量？
• RQ5 当标准标注数据充足时，远程监督数据的整合是否会导致性能下降，尤其是对BERT等复杂模型而言？

主要发现

• 使用维基数据和外部姓名列表的远程监督使低资源设置下的NER性能提升两倍以上，仅使用1000个标注词元时，约鲁巴语的F1分数从约30提升至约66。
• 与仅使用维基数据相比，整合尼日利亚姓名列表使召回率提升13个百分点，显著改善了人名的覆盖范围。
• 噪声处理方法（如混淆矩阵架构）在低数据环境下显著提升性能，而噪声通道的增益则较为有限。
• 结合远程监督数据与噪声处理的Bi-LSTM模型在仅使用1000个标注词元时，约鲁巴语的F1分数达到66，接近使用17000个标准标注词元训练的模型性能。
• 尽管参数量更大，BERT在低数据设置下使用噪声远程监督训练时表现不佳，表明其容易过拟合于标签噪声，尤其在1000个标注样本时更为明显。
• 模型规模与性能之间的权衡十分明确：BERT（110M参数）在高资源设置下优于Bi-LSTM（1.5M参数），但在低资源场景中，小型模型从远程监督数据中获益更多。