[论文解读] Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding

Yutai Hou, Zhihan Zhou+5 more|arXiv (Cornell University)|Jun 20, 2019

Topic Modeling参考文献 22被引用 7

一句话总结

该论文提出了一种基于CRF的少样本序列标注框架，通过成对嵌入整合标记相似性，并在标签集不相交的领域间实现标签依赖关系迁移。该方法通过联合建模上下文感知表示与可迁移的标签转移模式，在少样本序列标注任务中取得当前最优性能，分别在一次学习槽位标注和命名实体识别中，F1值提升11.76（+21.2%）和12.18（+97.7%）。

ABSTRACT

While few-shot classification has been widely explored with similarity based methods, few-shot sequence labeling poses a unique challenge as it also calls for modeling the label dependencies. To consider both the item similarity and label dependency, we propose to leverage the conditional random fields (CRFs) in few-shot sequence labeling. It calculates emission score with similarity based methods and obtains transition score with a specially designed transfer mechanism. When applying CRF in the few-shot scenarios, the discrepancy of label sets among different domains makes it hard to use the label dependency learned in prior domains. To tackle this, we introduce the dependency transfer mechanism that transfers abstract label transition patterns. In addition, the similarity methods rely on the high quality sample representation, which is challenging for sequence labeling, because sense of a word is different when measuring its similarity to words in different sentences. To remedy this, we take advantage of recent contextual embedding technique, and further propose a pair-wise embedder. It provides additional certainty for word sense by embedding query and support sentence pairwisely. Experimental results on slot tagging and named entity recognition show that our model significantly outperforms the strongest few-shot learning baseline by 11.76 (21.2%) and 12.18 (97.7%) F1 scores respectively in the one-shot setting.

研究动机与目标

• 解决少样本序列标注中标注数据稀缺且不同领域标签集差异较大的挑战。
• 通过在低资源环境下联合建模标记相似性与标签依赖关系，提升序列标注性能。
• 通过利用少样本学习中查询-支持样本的成对上下文，减少词义表示的歧义性。
• 通过抽象化的标签表示，在标签集不同的领域间迁移标签依赖关系模式。
• 证明依赖关系迁移优于手工设计的转移规则，并在少样本场景下提升标注准确性。

提出的方法

• 使用条件随机场（CRF）建模序列标注，发射得分基于基于相似度的方法，转移得分通过依赖关系迁移机制学习。
• 引入一种成对嵌入器，利用自注意力机制联合编码查询和支撑样本的标记，提升上下文中的词义表示。
• 应用依赖关系迁移机制，将领域特定标签抽象为抽象标签，并学习其间的转移模式，以实现跨领域迁移。
• 使用上下文嵌入（如BERT风格）捕捉丰富的语义表示，随后用于计算相似度得分以支持发射建模。
• 在多个源领域上进行训练，并仅使用少量标注样本（每类1–5个）适应目标领域，利用标签依赖关系和标记相似性的先验知识。
• 采用基于原型的相似度机制计算发射得分，其中每个标记的表示与支撑集原型进行比较。

实验结果

研究问题

• RQ1 当不同领域间的标签集不同时，标签依赖关系迁移能否有效提升少样本序列标注性能？
• RQ2 对查询和支撑序列进行成对嵌入，能否减少词义歧义并提升基于相似度的分类性能？
• RQ3 在准确率和跨领域泛化能力方面，依赖关系迁移与手工设计的转移规则相比表现如何？
• RQ4 联合建模标记相似性与标签依赖关系，在低资源序列标注中能多大程度上提升性能？
• RQ5 依赖关系迁移与成对嵌入在整体性能提升中的贡献分别是什么？

主要发现

• 所提模型在一次学习槽位标注任务中，F1值相比最强基线提升11.76分（相对提升21.2%）。
• 在一次学习命名实体识别任务中，F1值提升12.18分（相对提升97.7%），展现出强大的泛化能力。
• 依赖关系迁移显著优于手工设计的转移规则，尤其在检测标签跨度边界和减少非法转移方面表现突出。
• 消融实验表明，成对嵌入与依赖关系迁移均独立且显著地贡献于性能提升。
• 依赖关系迁移机制捕捉到了非平凡且可迁移的标签转移模式，这些模式难以通过简单规则建模。
• 准确率分析显示，依赖关系迁移在所有二元组类型上均提升预测性能，包括具有挑战性的边界与内部转移，其中B-O与I-O对的提升最大。