[论文解读] Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network

Yutai Hou, Wanxiang Che+5 more|arXiv (Cornell University)|Jun 10, 2020

Topic Modeling参考文献 34被引用 7

一句话总结

本文提出了一种少样本槽标记框架，结合了压缩依赖传递（collapsed dependency transfer）以实现跨领域标签依赖知识迁移，并引入了标签增强的任务自适应投影网络（L-TapNet），以改进词-标签相似度建模。该方法通过利用标签名称语义并抽象出领域特定依赖为可迁移模式，在单样本设置下相比最强基线模型实现了14.64的F1分数提升。

ABSTRACT

In this paper, we explore the slot tagging with only a few labeled support sentences (a.k.a. few-shot). Few-shot slot tagging faces a unique challenge compared to the other few-shot classification problems as it calls for modeling the dependencies between labels. But it is hard to apply previously learned label dependencies to an unseen domain, due to the discrepancy of label sets. To tackle this, we introduce a collapsed dependency transfer mechanism into the conditional random field (CRF) to transfer abstract label dependency patterns as transition scores. In the few-shot setting, the emission score of CRF can be calculated as a word's similarity to the representation of each label. To calculate such similarity, we propose a Label-enhanced Task-Adaptive Projection Network (L-TapNet) based on the state-of-the-art few-shot classification model -- TapNet, by leveraging label name semantics in representing labels. Experimental results show that our model significantly outperforms the strongest few-shot learning baseline by 14.64 F1 scores in the one-shot setting.

研究动机与目标

• 解决在仅有少量标注样本的新领域中低资源槽标记的挑战。
• 克服在标签集不匹配的领域之间迁移标签依赖关系的困难。
• 通过将标签名称语义融入标签表示，改进少样本设置下的词-标签相似度建模。
• 提出一种在标注数据极度有限时估计CRF转移分数的方法。
• 通过在低样本场景下联合建模词-标签相似度与标签间依赖关系，实现有效的序列标注。

提出的方法

• 提出一种少样本CRF框架，其中发射得分在投影嵌入空间中通过词-标签相似度计算得出。
• 提出L-TapNet，即TapNet的标签增强变体，利用标签名称语义改善标签表示的分离性。
• 设计一种压缩依赖传递（CDT）机制，将领域特定标签抽象为领域无关的抽象标签，以传递先验标签依赖模式。
• 采用成对嵌入机制，用领域特定上下文表示词语，以提升相似度计算效果。
• 在源领域上训练模型以学习可迁移的标签依赖关系与词-标签相似度，随后在仅有少量支持样本的目标领域上进行微调。
• 利用CDT机制估计CRF中的转移分数，该机制从源领域学习抽象依赖模式，并将其应用于具有不同标签集的未见目标领域。

实验结果

研究问题

• RQ1 在少样本槽标记中，能否有效将源领域中的先验标签依赖知识迁移到标签集不同的目标领域？
• RQ2 在低资源设置下，将标签名称语义融入标签表示是否能改善词-标签相似度建模？
• RQ3 压缩依赖传递机制是否能优于基于规则或朴素的转移分数计算方法，在少样本序列标注中表现更优？
• RQ4 与标准原型网络相比，L-TapNet在多大程度上增强了标签表示的分离性？
• RQ5 所提模型的组件——L-TapNet与CDT——在性能提升中各自及协同发挥怎样的作用？

主要发现

• 所提模型在单样本设置下相比最强的少样本学习基线模型，实现了14.64的F1分数提升。
• L-TapNet通过利用标签名称语义显著改善了标签表示，实现了更清晰分离的嵌入向量，并提升了词-标签相似度的准确性。
• 压缩依赖传递（CDT）优于基于规则的转移分数计算，尤其在预测槽边界和内部槽转移方面表现更优。
• 消融实验表明，L-TapNet与CDT在性能提升中均具有独立贡献，并存在协同增益效应。
• 该模型捕捉到了非平凡的、与领域无关的标签依赖模式，可在仅需极少标注数据的多样化目标领域中有效应用。