[论文解读] Adaptive Self-training for Few-shot Neural Sequence Labeling

Yaqing Wang, Subhabrata Mukherjee+5 more|arXiv (Cornell University)|Oct 7, 2020

Topic Modeling参考文献 46被引用 35

一句话总结

本文提出了 MetaST，一个结合自适应自训练与令牌级元学习的框架，用以对伪标注数据进行重新加权，使神经序列标注在只有极少标注样本且有大量未标注数据的情况下也能工作。

ABSTRACT

Sequence labeling is an important technique employed for many Natural Language Processing (NLP) tasks, such as Named Entity Recognition (NER), slot tagging for dialog systems and semantic parsing. Large-scale pre-trained language models obtain very good performance on these tasks when fine-tuned on large amounts of task-specific labeled data. However, such large-scale labeled datasets are difficult to obtain for several tasks and domains due to the high cost of human annotation as well as privacy and data access constraints for sensitive user applications. This is exacerbated for sequence labeling tasks requiring such annotations at token-level. In this work, we develop techniques to address the label scarcity challenge for neural sequence labeling models. Specifically, we develop self-training and meta-learning techniques for training neural sequence taggers with few labels. While self-training serves as an effective mechanism to learn from large amounts of unlabeled data -- meta-learning helps in adaptive sample re-weighting to mitigate error propagation from noisy pseudo-labels. Extensive experiments on six benchmark datasets including two for massive multilingual NER and four slot tagging datasets for task-oriented dialog systems demonstrate the effectiveness of our method. With only 10 labeled examples for each class for each task, our method obtains 10% improvement over state-of-the-art systems demonstrating its effectiveness for the low-resource setting.

研究动机与目标

• 通过利用未标注数据来解决神经序列标注（NER 和槽位标注）中的标签稀缺问题。
• 开发一个端到端框架，能够自适应地选择信息丰富的标注验证数据。
• 通过基于元学习的令牌级重新加权来减轻来自噪声伪标签的错误传播。
• 在少样本设置下，演示跨多语言 NER 和任务导向对话数据集的泛化能力。

提出的方法

• 使用在少量标注数据上微调的预训练语言模型（教师模型）为未标注数据生成伪标签。
• 自适应标注数据获取，利用损失衰减作为不确定性的代理，在运行时创建一个保留的验证集。
• 元学习基于学生在自适应验证集上的损失来对伪标签的令牌进行重新加权。
• 通过梯度基的扰动对伪标签数据进行令牌级重加权，再在多个标注批次上聚合以获得鲁棒权重。
• 端到端训练，其中学生从加权伪标签中学习，教师参数与学生参数迭代更新。
• 将 MetaST 与完整监督的 BERT 以及多个半监督基线在六个数据集上进行比较。

实验结果

研究问题

• RQ1 在多样数据集和语言中，基于令牌级元学习的自适应自训练是否能提升少样本序列标注的性能？
• RQ2 自适应验证集构建和令牌级重新加权是否能有效缓解序列标注中的伪标签噪声？
• RQ3 在不同标注数据和未标注数据量下，MetaST 相对于强基线的表现如何？
• RQ4 通过迭代的教师-学生更新是否有利于自训练过程中保持任务聚焦？
• RQ5 自适应数据获取和令牌级重新加权等组件是否对整体增益有显著贡献？

主要发现

• MetaST在六个数据集上以每个槽 10 个标注示例时，超过所有基线，平均较同一编码器的基线提高 8.82–18.07 个百分点。
• 在少样本设置下，MetaST 在某些数据集（如 SNIPS 和 Email）缩小了与完全监督 BERT 的差距。
• 通过元学习实现的令牌级重新加权显著提升了性能，而软伪标签相比硬标签表现较差。
• 自适应标注数据获取在任务具有大量槽位且多样性高时尤其提升（如 SNIPS）。
• 继续进行的领域内预训练对某些任务有帮助，但 MetaST 对领域内和跨领域数据集均带来收益。