[论文解读] Few-shot sequence labeling with label dependency transfer

Yutai Hou, Zhihan Zhou+5 more|arXiv (Cornell University)|Jun 20, 2019

Topic Modeling参考文献 28被引用 7

一句话总结

该论文提出了一种少样本序列标注框架，通过在不同领域间迁移抽象的标签转移模式来解决标签集差异问题。通过结合序列匹配网络与基于CRF的架构及依赖迁移机制，该模型在1-shot设置下的槽位标注和命名实体识别任务中，相较于强基线模型分别取得了7.96和11.70的F1分数提升。

ABSTRACT

Few-shot sequence labeling faces a unique challenge compared with the other fewshot classification problems, owing to the necessity for modeling the dependencies between labels. Different domains often have different label sets, which makes it difficult to directly utilize the label dependencies learned from one domain in another domain. In this paper, we introduce the dependency transfer mechanism that addresses such label-discrepancy problem. The dependency transfer mechanism learns the abstract label transition patterns from the source domains and generalizes such patterns in the target domain to benefit the prediction of a label sequence. We also develop the sequence matching network by adapting the matching network to sequence labeling case. Moreover, we propose a CRF-based few-shot sequence labeling framework to integrate both the dependency transfer mechanism and the sequence matching network. Experiments on slot tagging (ST) and named entity recognition (NER) datasets show that our model significantly outperforms the strongest few-shot learning baseline by 7.96 and 11.70 F1 scores respectively in the 1-shot setting.

研究动机与目标

• 为解决少样本序列标注中跨领域标签集差异的挑战。
• 从源领域学习可泛化至目标领域的抽象标签转移模式。
• 通过整合标签依赖迁移与序列匹配，提升少样本序列标注性能。
• 开发一种基于CRF的框架，结合匹配网络与依赖迁移，实现序列级预测。

提出的方法

• 依赖迁移机制从源领域学习抽象标签转移模式，以泛化至具有不同标签集的目标领域。
• 将匹配网络适配为处理序列输入与标签预测的序列匹配网络。
• 基于CRF的框架整合序列匹配网络与依赖迁移，实现联合序列标注。
• 标签转移模式被抽象化并独立于特定标签词汇进行迁移，从而实现跨领域泛化。
• 模型在推理过程中使用注意力机制对支持序列与查询序列进行对齐。
• CRF层通过建模相邻标签之间的依赖关系，确保标签序列的一致性。

实验结果

研究问题

• RQ1 在少样本序列标注中，能否有效将抽象标签转移模式迁移至具有不同标签集的领域？
• RQ2 将序列匹配与依赖迁移相结合，如何提升少样本序列标注的性能？
• RQ3 所提出的框架在序列标注任务中相较于现有少样本学习基线模型，性能提升的幅度如何？
• RQ4 该模型能否在无需微调的情况下，泛化至低资源设置下的未见标签集？

主要发现

• 在1-shot设置下，该模型在槽位标注数据集上的F1分数相比最强基线模型提升了7.96分。
• 在命名实体识别数据集上，该模型在1-shot设置下相比最强基线模型F1分数提升了11.70分。
• 依赖迁移机制成功实现了具有不同标签集的领域之间的标签转移模式泛化。
• 序列匹配与基于CRF的解码相结合，显著提升了序列级预测的准确性。